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己 喜 欢 的 浏览 器 和 PDF 阅读 器 进行 
阅读 。 
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要 研究 方向 为 跨 设备 人 机 交互 理论 。 从 大 
学 时 期 开始 接触 Java、JavaScript 程 序 开 
发 ， 目 前 对 Web 应 用 及 智能 手机 应 用 开 
发 有 浓厚 兴趣 ， 并 参与 Android 开 发 文档 
翻译 项 目 。 业 余 开 发 的 移动 应 用 在 
Google Play 商店 中 已 有 数 十 万 次 下 载 。 

译作 有 《JavaScript 编 程 全 解 》《App， 
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内 容 提 要 





本 书 是 一 本 优秀 的 编译 原理 入 门 读 物 。 全 书 穿插 了 大 量 轻松 风趣 的 对 话 ， 读 者 可 以 随 书 中 的 人 
物 一 起 从 最 简单 的 语言 解释 器 开始 ， 逐 步 添 加 新 功能 ， 最 终 完 成 一 个 支持 函数 、 数 组 、 对 象 等 高 级 
































功能 的 语言 编译 器 。 本 书 与 众 不 同 的 实现 方式 不 仅 大 幅 简 化 了 语言 处 理 器 的 复杂 度 ， 还 有 助 于 拓 
读者 的 视野 。 
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本 书 适 合 对 编译 原理 及 语言 处 理 器 设计 有 兴趣 的 读者 以 及 正在 学 习 相 关 课 程 的 大 中 专 院 校 学 
生 。 同 时 , 已 经 学 习 过 相关 知识 , 有 一 定 经 验 的 开发 者 , 也 一 定 能 从 本 书 新 颖 的 实现 方式 中 受益 良 多 。 
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在 大 学 时 代 ， 编 译 原 理 就 是 我 十 分 感 兴趣 的 一 门 课程 。 无 论 是 手工 进行 语法 分 析 计 算 ， 还 是 
尝试 设计 一 些 简单 的 语言 处 理 涡 ， 痢 给 我 留 下 了 深刻 的 印象 。 为 某 些 特殊 用 途 的 软件 设计 专用 的 
程序 设计 语言 ， 也 是 我 一 度 着 迷 的 课题 。 当 时 ,阿尔 弗 雷 德 所 著 的 《编译 原理 技术 与 工具 》 是 自 
己 包 中 的 常客 ,我 常 带 着 疯 文 原版 轧 转 于 教室 、 图 书馆 与 自己 的 房间 。 

怀 着 对 编译 原理 的 这 份 兴趣 与 热忱 ， 我 一 直 都 希望 能 做 一 些 与 之 相关 的 工作 。 遇 到 这 本 《两 
周 自制 脚本 语言 》 算是 一 种 缘分 。 

初 见 书 名 ， 我 还 有 些 犹 驳 。 国 内 以 速成 为 卖点 的 计算 机 书籍 不 少 ， 真 正 值得 一 读 的 好 书 却 不 
多 。 诱惑 读者 靠 走 捷径 学 到 真知 ， 常 常 最 终 使 他 们 绕 了 弯路 。 不 过 在 了 解 到 作者 是 东京 大 学 和 东 
京 工业 大 学 计算 机 系 的 资深 教授 后 ， 我 又 对 这 本 书 产生 了 好 奇 。 一 位 仍 活跃 在 科研 与 教学 第 一 线 
的 学 者 ， 会 怎样 在 两 周 内 教会 读者 设计 一 种 脚本 语言 呢 ? 

读 完 本 书 ， 我 颇 为 惊喜 ， 原 本 的 担心 消失 殖 尽 。 这 是 一 本 有 趣 而 实用 的 书 ， 内 容 编 排 十 分 独 
特 ， 作 为 一 本 编译 原理 的 人 门 读物 ， 本 书 的 很 多 编写 思路 都 于 绕 这 点 展开 。 作 者 没有 为 了 增添 嗪 
头 而 加 入 大 量 初学 者 不 易 理解 也 无 需 急 着 掌握 的 知识 与 技术 ， 而 是 始终 以 够 用 为 本 ， 逐 步 扩展 语 
言 的 语法 规则 ， 帮 助 读者 从 最 基础 的 概念 到 一 些 常 用 的 进 阶 设计 理念 ， 逐 步 掌 握 语言 处 理 需 的 运 
行 原理 ， 以 及 设计 一 门 新 的 语言 的 必要 步骤 。 书 中 随处 可 见 的 老师 与 学 生 、 学 生 与 学 生 间 的 轻松 
对 话 是 本 书 的 一 大 特色 ， 几 位 性 格 角 异 的 出 场 人 物 时 而 为 读者 解 惑 ， 时 而 提出 一 些 更 深层 次 的 问 
题 ， 引 发 读者 的 思考 。 

尽管 书 名 是 自制 脚本 语言 ， 但 本 书 的 内 容 却 是 自制 脚本 语言 处 理 器 。 作 者 花 了 大 量 篇 幅 讲 解 
语言 处 理 需 的 功能 增强 与 性 能 优化 。 与 同类 书 相 比 ， 本 书 使 用 了 一 种 较为 新 颖 的 实现 方式 ， 能 
有 效 简化 语言 处 理 需 的 设计 与 维护 成 本 。 尽 管 它 还 无 法 完全 胜任 实际 生活 中 更 为 复杂 的 系统 ， 这 
种 解决 问题 的 思路 却 对 开拓 读者 的 眼界 很 有 帮助 。 

得 益 于 作者 丰富 的 教学 科研 经 验 ， 本 书 涉及 了 不 少 实践 中 可 能 遇 到 的 问题 。 作 者 没有 直接 给 
出 解答 ， 而 是 引导 读者 思考 ， 无 论 是 初学 者 还 是 有 一 定 基础 知识 的 读者 ， 都 能 在 阅读 本 书后 有 新 
的 发 现 。 在 翻译 本 书 时 ,我 也 有 所 收获 。 其 中 ， 为 了 深究 一 些 细节 问题 ,我 曾 专 门 怪 信和 向 作 者 请 
教 。 作 者 立刻 对 我 的 疑问 进行 了 解答 ， 并 附 上 了 细致 的 说 明 ， 在 他 的 帮助 下 ， 中 译本 的 质量 得 到 
了 进一步 提升 。 在 此 谨 对 作者 的 支持 表示 衷心 的 感谢 。 此 外 ， 中 译本 已 经 参照 原 书 的 勘误 及 补遗 
表 做 了 修改 与 调整 ， 一 些 细节 问题 得 到 了 修正 。 
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iv | 译 者 序 





在 翻译 过 程 中 ,我 得 到 了 许多 人 的 帮助 与 支持 。 家 人 为 自己 创造 了 能 够 安心 翻译 的 环境 ， 并 
始终 给 予 理 解 与 关心 。 好 友 陈 洁 也 为 我 提供 了 莫大 的 支持 ,使 我 可 以 每 天 以 最 佳 状态 投入 工作 。 
这 里 还 要 感谢 图 灵 的 各 位 编辑 提出 大 量 极 具 价值 的 建议 与 意见 ， 帮 助 本 书 顺利 完成 并 最 终 问世 。 
最 后 ,希望 对 编译 原理 有 兴趣 的 读者 都 能 从 本 书 中 获 益 。 
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2014 Æ 4 月 于 上 海 
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模糊 ， 我 们 只 要 稍微 了 解 一 下 常见 的 程序 设计 语言 ， 就 会 发 现 两 者 已 不 再 是 对 立 的 概念 。 
因此 ， 与 其 说 本 书 是 编译 原理 的 和 人 门 书 ， 不 如 说 是 语言 处 理 器 的 人 门 读物 更 为 恰当 。 语 言 
处 理 器 是 用 于 执行 程序 设计 语言 的 软件 ， 它 同时 包含 了 编译 器 与 解释 器 。 本 书 看 似 用 了 大 量 篇 
幅 讲解 解释 器 的 原理 ， 其 实 是 在 讲解 编译 器 与 解释 器 通用 的 理论 。 第 1 章 将 详细 介绍 各 章节 的 
具体 内 容 。 

本 书 采用 了 Java 语言 来 实现 语言 处 理 需 。 在 设计 语言 处 理 天 时 ，C 语言 或 C++ 语言 更 为 常 
见 ， 加 之 本 书 没有 借助 yace 等 常用 的 工具 来 生成 语言 处 理 器 ， 因 此 读者 也 许 会 认为 本 书 的 实用 
性 不 足 。 

本 书 在 介绍 语言 处 理 需 的 设计 方式 时 ， 尽 可 能 采用 了 较 新 颖 的 手段 。C 语言 或 C++ 语言 结 
合 yace 的 方式 性 能 较 差 ， 且 是 上 世纪 80 年 代 的 实现 方式 。 在 那 之 后 ， 程 序 设 计 语言 飞速 发 展 ， 
已 不 可 同日 而 语 ， 其 运行 性 能 也 大 幅 提 升 。 入 门 读物 也 应 该 与 时 俱 进 ， 讲 解 与 过 去 不 同 的 设计 方 
式 ， 展 现 它们 的 实践 价值 。 

时 至 今日 ， 软 件 领 域 的 发 展 依然 日 新 月 异 ， 并 逐渐 渗透 至 生活 的 方方面面 ， 这 一 势头 无 疑 将 
持续 下 去 。 在 此 期 间 ， 各 类 技术 必 将 不 断 发 展 ， 为 了 跟 上 技术 更 新 的 步伐 ， 软 件 应 当 以 略微 领先 
于 时 代 的 设计 思路 开发 。 

很 久 以 前 ， 笔 者 曾 使 用 C++ 语言 开发 过 适用 于 工作 站 的 语言 处 理 副 ， 当 时 ,时钟 频率 仅 有 
100 兆赫 ， 内 存 也 不 过 几 百 兆 字 节 。 那 套 软件 幸运 地 在 各 种 环境 下 运行 了 十 年 以 上 。 有 一 天 , 我 
收 到 了 一 封 邮件 。 我 记得 好 像 是 一 个 德国 的 年 轻 人 ， 他 洋洋 洒洒 写 了 很 多 ， 批 评 那 套 软件 的 设计 
有 不 少 问题 。 还 说 开发 者 应 当 合理 使 用 模板 ， 并 灵活 运用 各 种 库 ， 要 学 习 使 用 设计 模式 ， 还 要 用 
XML 来 表示 抽象 语法 树 ， 等 等 。 

他 指出 我 太 节 省 内 存 ， 只 顾 着 提升 性 能 ， 结 果 程 序 难以 阅读 。 从 当时 的 主流 软 硬 件 标准 来 
看 ， 这 些 批评 确实 合情合理 ， 但 那 套 系统 毕竟 是 十 年 前 的 产物 。 在 当时 软 硬 件 性 能 房 弱 的 情况 
下 ， 如 果 遵 循 他 的 建议 ， 最 终 完 成 的 语言 处 理 器 慌 怕 会 被 打上 缺乏 使 用 价值 的 标签 ( 顺便 一 提 ， 
提出 批评 的 那 位 年 轻 人 虽然 说 了 很 多 ， 却 没有 写 一 行 代码 )。 

然而 ， 从 这 件 事 中 我 深刻 体会 到 ， 软 件 有 着 惊人 的 生命 力 ， 即 使 在 开发 时 采用 了 最 佳 设计 ， 
最 终 还 是 会 随 着 时 代 的 进步 而 被 迅速 淘汰 。 因 此 ， 前 文 说 软件 应 当 以 略微 领先 于 时 代 的 设计 思路 
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vi | 前 言 


开发 有 其 合理 性 。 当 然 ， 我 们 也 可 以 不 关心 他 人 的 批评 ， 尽 可 能 缩短 软件 的 生命 周期 ， 并 积极 抛 
弃 过 时 的 内 容 。 具 体 采用 哪 种 策略 因 人 而 异 。 

希望 读者 能 够 在 阅读 本 书 时 始终 记 住 这 些 理念 。 读 过 本 书 之 后 ， 如 果 大 家 觉得 收获 良 多 ,我 
将 深 感 荣 幸 与 喜悦 。 








2012 年 新 春 
Toi 
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本 书 虽 然 是 编译 原理 的 入门 读物 ， 但 除了 编译 器 之 外 ， 还 将 介绍 程序 设计 语言 的 各 种 功能 
及 相应 实现 方法 的 基本 设计 思路 。 不 过 ， 与 现 有 的 很 多 编译 原理 人 门 书 不 同 ， 本 书 的 内 容 十 分 新 
宁 。 已 有 的 同类 书 大 多 遵循 一 些 固定 套路 ， 以 正则 表达 式 、 自 动机 、LL 语法 、LR 语法 及 相关 的 
语法 分 析 算法 等 基础 知识 为 核心 ， 设 计 简化 的 C 语言 风格 编译 器 。 本 书 不 仅 会 仔细 讲解 这 些 知 
识 点 草 含 的 基本 思想 ， 还 会 通过 现成 的 库 来 实现 语言 处 理 的 词法 分 析 与 语法 分 析 逻 辑 。 

本 书 仅 简单 讲解 词法 分 析 与 语法 分 析 等 编译 器 的 基本 知识 ， 而 将 重点 放 在 语言 处 理 器 的 实 
现 上 。 已 有 的 同类 书 很 少 涉及 各 类 具体 的 语言 功能 与 它们 的 具体 实现 方式 ， 本 书 将 由 简 和 人 繁 ， 逐 
步 修改 语言 处 理 融 ， 介 绍 这 些 功能 与 实现 。 语 言 处 理 带 最 初 只 支持 无 变量 声明 的 简单 表达 式 ， 之 
后 陆续 添加 函数 与 朵 包 、 数 组 、 面 向 对 象 类 型 、 类 型 推论 等 功能 ， 将 它 从 解释 吉 修 改 为 编译 需 。 
本 书 采用 Java 语言 来 实现 语言 处 理 需 ， 不 过 在 多 次 修改 后 ,已 有 的 程序 通常 需要 重 写 ， 这 
并 非 我 们 希望 看 到 的 。 本 书 使 用 了 笔者 开发 的 语言 处 理工 具 GluonJ， 因 此 在 添加 功能 时 无 需 修 
改 已 有 的 代码 ， 只 需 男 外 编写 必要 的 程序 即 可 。 因 此 可 以 轻松 更 改 不 同 功能 的 配置 。 这 是 一 种 非 
常理 想 的 程序 开发 方式 。 

得 益 于 这 种 方式 ， 本 书 能 通过 若干 较为 简短 的 独立 程序 实现 语言 处 理 需 的 各 种 功能 ， 并 将 完 
整 代 码 收录 于 书 中 。 这 正 是 GluonJ 的 长 处 ， 如 果 合 理 设计 程序 结构 ， 这 种 优势 能 进一步 得 到 发 
挥 ， 程 序 的 扩展 将 更 加 容易 。 希 望 读者 能 够 通过 本 书 体 会 这 种 编程 思想 。 

本 书 并 非 一 味 教授 基础 知识 ， 而 会 尽 可 能 简明 地 讲解 这 些 基 本 概念 背后 的 原理 。 此 外 ， 乍 一 
看 类 与 函数 是 完全 不 同 的 概念 ， 其 实 类 是 函数 概念 的 一 种 延伸 ， 本 书 也 会 对 此 进行 说 明 。 正 文中 
插入 了 大 量 学 生 与 教师 的 对 话 ， 时 而 质疑 时 而 反驳 ， 提 供 了 很 多 相关 信息 ， 引 发 读者 深入 思考 。 

本 书 是 一 本 优秀 的 编译 原理 入 门 读物 ， 它 尝试 以 一 种 现代 的 方式 设计 一 种 现代 的 语言 ， 即 使 
读者 对 编译 需 已 有 一 定 程度 的 了 解 ， 也 一 定 能 从 中 学 到 很 多 。 
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本 书 的 阅读 方式 


对 话 形式 的 补充 说 明 在 本 书 中 随处 可 见 。 这 些 对 话 有 时 用 于 补充 正文 内 容 ， 有 时 会 引入 一 些 
更 深入 的 主题 。 
本 书 的 对 话 中 将 出 现 以 下 5 个 角色 。 


e 出 场 角色 





q 













































































| 回 某 大 学 的 老师 。 程 序 设计 语言 研究 室 的 负责 人 。 | 
最 年 长 的 学 生 。 彬 彬 有 礼 的 运动 型 男生 。 

园 好 为 人 师 的 学 生 。 
B 博学 的 学 生 。 平 时 少 言 碍 语 ， 反而 会 语 惊 四 座 。 


| 贺 留 过 级 ， 所 谓 的 差生 。 不 过 他 究竟 是 不 是 真 的 差生 还 是 一 个 谜 。 | 


\ 
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x | 本 书 的 阅读 方式 





这 些 出 场 角色 纯 属 虚构 ， 与 现实 中 存在 的 人 物 没 有 任何 关系 。 希望 读 者 能 够 结合 对 话 与 正 
X, 更 深入 地 理解 本 书 的 内 容 。 


e 有 效 利用 源 代码 

在 阅读 本 书 时 ， 强 烈 建 议 读者 下 载 源 代码 并 通过 Eclipse 等 集成 开发 环境 调试 。 如 果 不 使 用 
Eclipse 之 类 的 开发 环境 ， 用 面向 对 象 语言 写成 的 程序 将 变 得 难以 理解 。 

读者 可 以 从 以 下 地 址 下 载 源 代码 。 











http://www.csg.ci.i.u-tokyo.ac.jp/~chiba/files/stone-2012feb21.zip 





需要 注意 的 是 ， 在 不 同 的 程序 设计 环境 中 ， 源 代码 中 的 反 斜 杜 \ 可 能 会 显示 为 ¥ 等 字符 。 
本 书 将 统一 使 用 \。 
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来 ， 我 们 一 起 做 些 什 么 吧 
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来 ， 我 们 一 起 做 些 什么 吧 
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某 大 学 研究 室内 








回 话说 ,我 现在 正在 写 一 本 新 书 。 

回 老师 ， 您 这 次 写 的 是 什么 主题 的 书 呢 ? 

B 是 一 本 和 编译 相关 的 书 。 确 切 地 说 ， 是 关于 语言 处 理 器 的 书 。 

贺 这 样 啊 ， 这 次 是 要 写成 一 本 教科 书 吗 ? 

B 不 ， 出 版 社 要 求 我 这 次 写 得 通俗 些 ， 所 以 这 本 书 的 内 容 会 比 教材 来 得 简 

回 那 这 次 还 会 像 前 一 本 书 ” 那样 ， 通 过 对 话 形式 进行 解说 吗 ? 

加 这 个 问题 现在 还 没有 确定 。 有 人 赞成 用 对 话 的 形式 ,但 也 有 人 反对 。 
A 









































































































































单 。 











回 老师 ， 那 这 次 的 新 书 中 会 出 现 哪些 人 物 呢 ?肯定 











有 H 吧 ， 毕竟 这 里 他 最 年 长 。 

















别 这 么 说 ， 就 算 没 有 我 也 没关系 。 































































































证 会 出 现 啦 。 至 于 还 会 有 哪些 人 ， 真 是 很 期 待 呀 。 此 外 ，M 那样 称职 的 
Sa x 




















色 也 必 不 可 





| 


J 











设计 程序 时 使 用 的 语言 称 为 程序 设计 语言 。 如 Java 语言 、C 语言 、Ruby 语言 、 


Python 语言 等 ， 都 是 程序 设计 语言 。 
程序 员 必 须 使 用 与 各 程序 设计 语言 相 匹 配 的 软件 来 执行 由 该 语言 写成 的 程序 。 这 种 软件 通常 
称 为 语言 处 理 颖 。 本 章 将 首先 说 明 语言 处 理 带 的 基本 概念 。 














C++ 语言 、 
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不 久 


un 
































E 该 不 会 是 要 让 我 来 扮演 M 的 角色 吧 ? 真是 这 样 倒 也 没 问题 ，M 一 直 也 和 
图 不 ， 所 有 出 现 的 人 物 都 是 虚构 的 ， 不 必 在 意 。 














民 关 照 我 。 


) 
P 





f 





有 些 程序 设计 语言 无 需 借助 软件 执行 ， 也 就 是 说 ， 它 们 不 需要 语言 处 理 器 。 这 些 语 言 称 为 机 








器 语言 。 机 咒语 言 可 以 由 硬件 直接 解释 执行 ， 理 论 上 不 必 使 用 软件 。 





(D 


© 





千 叶 涕 《面向 方面 程序 设计 入 门 》 技 术 评论 社 ，2005 年 。 
这 里 指 的 是 在 注 1 提 到 的 书 中 出 现 的 角色 M。 
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12 ”解释 器 与 编译 器 | 3 


然而 ， 机 器 语言 书写 的 程序 只 有 载 人 内 存 后 才能 通过 硬件 执行 。 因 此 用 户 在 实际 使 用 时 ， 必 
须 先 通过 软件 从 磁盘 文件 中 读 取 机 器 语言 程序 ， 再 将 它 复 制 至 内 存 。 不 过 ， 这 类 程序 称 不 上 是 语 
言 处 理 厦 ， 通 常 称 为 操作 系统 ( Operating System, OS )。 









































| 四 我 先 打 个 贫 ， 如 果 说 操作 系统 是 用 于 复制 的 软件 ， 机 器 语言 就 该 是 其 中 的 程序 了 吧 。 | 
回 你 是 想 问 ， 机 器 语言 是 不 是 需要 通过 某 种 软件 来 复制 到 内 存 吧 ? 
回 当然 需要 了 。 这 叫做 引导 装载 程序 。 
老师 ， 我 想 知道 的 是 这 个 引导 装载 程序 是 怎样 被 复制 到 内 存 中 的 呢 ? 
回 小 A， 引 导 装 载 程序 会 事先 写 在 内 存 中 ， 无 需 复制 。 计 算 机 在 启动 时 会 首先 执行 这 个 程序 。 
回 没 错 ， 即 使 切断 电源 ， 引 导 装载 程序 依然 会 留 在 内 存 中 。 
那 为 什么 不 一 开始 就 把 操作 系统 写 入 内 存 呢 ? 
El 那样 的 话 ， 升 级 操作 系统 将 会 变 得 很 麻烦 。 
B 而 且 也 无 法 实现 Windows 和 Linux 双 操 作 系统 启动 。 
B 咽 。 不 过 要 是 断 电 后 数据 也 不 会 丢失 的 高 速 内 存 能 得 到 普及 ， 预 先 将 操作 系统 写 入 内 存 的 计 

(o 算 机 系统 也 会 出 现 吧 。 J 




















































































































































































































汇编 语言 与 机 器 语言 是 很 容易 混淆 的 概念 ， 但 两 者 并 不 相同 。 机 器 语言 写 成 的 程序 本 质 上 是 
一 个 位 数 很 长 的 二 进 制 数字 。 由 于 它 不 易于 阅读 ， 人 们 常 通过 汇编 语言 程序 来 表述 这 个 巨大 的 数 
F, 使 其 更 易于 理解 。 因 此 ， 如 果 要 执行 汇编 语言 写成 的 程序 ， 用 户 通 常 需要 使 用 软件 将 其 转换 
为 机 融 语 言 。 这 种 软件 称 为 汇编 程序 (assembler )。 汇 编程 序 可 以 说 是 一 种 最 基本 的 语言 处 理 器 。 


看 区 入、 解释 器 与 编译 器 


语言 处 理 右 可 大 致 分 为 解释 器 与 编译 器 两 种 。 这 两 类 语言 处 理 絮 的 执行 原理 有 很 大 差异 。 


。 解释 器 
解释 器 根据 程序 中 的 算法 执行 运算 。 简 单 来 讲 ， 它 是 一 种 用 于 执行 程序 的 软件 。 如 果 执 行 的 
程序 由 虚拟 机 器 语言 或 类 似 于 机 器 语言 的 程序 设计 语言 写成 ， 这 种 软件 也 能 称 为 虚拟 机 。 


e 编译 器 
编译 器 能 将 某 种 语言 写成 的 程序 转换 为 另 一 种 语言 的 程序 。 通 常 它 会 将 原 程序 转换 为 机 咒语 
言 程序 。 编 译 顺 转换 程序 的 行为 称 为 编译 ， 转 换 前 的 程序 称 为 源 代 码 或 源 程序 。 如 果 编 译 咒 没有 
把 源 代码 直接 转换 为 机 器 语言 ， 一 般 称 为 源 代码 转换 恬 或 源码 转换 器 ( source code translator ). 
程序 设计 语言 提供 了 何 种 类 型 的 语言 处 理 需 不 一 而 论 ， 一 些 具 有 解释 器 ， 另 一 些 则 会 提供 编 
译 器 。 例 如 ， 尽 管 C 语言 也 提供 了 解释 器 ， 但 却 很 少 使 用 。C 语言 通常 直接 通过 编译 需 转 换 为 
机 器 语言 执行 。 转 换 后 得 到 的 机 器 语言 程序 会 暂时 保存 至 某 个 文件 ， 需 要 借助 操作 系统 来 执行 。 
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另 一 方面 ，Common Lisp 或 Haskell 等 语言 一 般 会 同时 提供 解释 天 与 编译 锅 ， 供 用 户 根据 需 
要 选用 。 

有 些 语言 混用 解释 器 与 编译 器 。 通 常 ，Java 语言 首先 会 通过 编译 器 把 源 代码 转换 为 Java 
二 进 制 代 码 ， 并 将 这 种 虚拟 的 机 需 语 言 保 存在 文件 中 。 之 后 ，Java 虚拟 机 的 解释 器 将 执行 这 段 
代码 。 

传统 的 狭义 的 编译 器 将 会 以 文件 形式 保存 转换 后 的 程序 。 因 此 ， 只 要 源 程序 没有 变更 ， 编 译 
就 仅 需 执 行 一 次 ， 执 行 时 间 也 会 缩短。 然而 ， 一 些 编译 融 并 不 保存 转换 后 的 程序 文件 。 这 种 编译 
器 常见 于 解释 需 内 部 。 

大 多 数 Java 虚拟 机 为 了 提高 性 能 ， 会 在 执行 过 程 中 通过 编译 需 将 一 部 分 Java 二 进 制 代码 直 
接 转 换 为 机 器 语言 使 用 。 执 行 过程 中 进行 的 机 器 语言 转换 称 为 动态 编译 或 JIT 编译 ( Just-In-Time 
compile )。 转 换 后 得 到 的 机 器 语言 程序 将 被 载 和 内存， 由 硬件 执行 ,无需 使 用 解释 器 。 
译 需 的 用 途 多 样 。 如 上 所 述 ， 它 能 够 直接 在 解释 吉 内 部 执行 。 此 外 ， 编 译 需 的 作用 也 不 局 
限于 将 源 程序 转换 为 机 带 语 言 。 例 如 ，Ruby 语言 的 解释 器 内 部 会 通过 编译 带 来 执行 预 处 理工 作 ， 
将 源 程 序 转 换 为 类 似 于 Java 二 进 制 代码 的 虚拟 机 器 语言 程序 。 解 释 器 真正 执行 的 是 这 种 经 过 编 
译 的 语言 。 这 种 设计 提高 了 执行 性 能 。 
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| O 最 近 在 解释 器 内 部 编译 的 例子 越 来 越 多 ， 解 释 器 的 定义 也 变 得 模糊 了 呢 。 j 
是 呀 。 不 过 前 面 提 到 的 Java 源 代码 将 首先 经 过 编译 这 一 点 ， 恐 怕 很 多 人 并 不 知道 吧 。 
回 的 确 如 此 ， 如 果 使 用 Eclipse 开发 Java 程序 ， 开 发 者 很 难看 到 编译 过 程 。 
回 Eclipse 其 实 已 经 把 编译 器 与 编辑 器 整合 了 ， 编 译 器 会 在 开发 者 书写 代码 的 同时 执行 编译 ， 
就 好 像 编译 始终 能 即时 完成 。 
| B 对 ， 开 发 者 要 意识 到 代码 已 被 编译 反而 是 一 件 难事 。 J 































































































































































































IARAM TERN, BGB UAPEREER. ANH T E SCENDE T B Ael 
语言 ， 因 此 执行 速度 很 快 。 而 对 于 解释 咒 ， 人 们 通常 认为 它 会 在 程序 输入 的 同时 立即 执行 ， 执 行 
速度 较 慢 。 这 就 是 两 者 的 基本 区 别 。 现 代 的 解释 需 内 部 向 采用 各 种 类 型 的 编译 需 ， 已 经 越 来 越 没 
有 必要 将 解释 器 与 编译 器 区 分 看 待 。 












































( B 另外 ， 编 译 器 是 否 将 源 代码 转换 成 了 机 器 语言 ， 并 不 那么 易于 分 辨 呢 。 ) 
只 要 编译 后 的 文件 双击 后 能 够 运行 ， 它 就 是 机 器 语言 了 。 
B x, (BZE Java 编译 后 的 . jar 文件 大 都 能 双击 运行 不 是 吗 ? 
回 嗯 ， 如 果 我 说 jar 文件 的 内 部 其 实 是 机 器 语言 ， 大 概 也 会 有 人 相信 吧 。 
加 当然 了 ，.jar 文件 内 保存 的 是 Java 二 进 制 代码 。 操 作 系统 将 会 在 后 台 启 动 Java 虚拟 机 ， 并 
通过 它 来 运行 .jar 文件 。 
|, Hl Android 系统 也 是 这 种 机 制 ， 它 采用 了 名 为 Dalvik 的 虚拟 机 。 
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本 书 将 为 极为 简单 的 脚本 语言 开发 语言 处 理 需 。 由 于 对 象 是 脚本 语言 ， 所 以 如 果 按 上 一 节 的 


分 类 方式 ， 本 书 开发 的 语言 处 理 需 属于 解释 器 。 不 过 ， 该 解释 名 内 部 将 采 有 





日 编译 器 来 提高 性 能 ， 





因此 本 书 也 将 涉及 开发 编译 需 的 一 些 基 本 知识 。 本 书 不 包含 代码 优化 之 类 的 技巧 ， 因 此 不 会 介绍 




















诸如 编译 需 在 将 程序 转换 为 机 需 语 言 时 ， 如 何 提高 机 需 语 言 的 执行 效率 等 内 容 。 
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| B 脚本 语言 这 个 词 的 含义 有 些 模 糊 不 是 吗 ? 
B 嗯 ， 这 的 确 是 一 个 无 法 回避 的 问题 。 
回 要 回答 脚本 语言 是 怎样 的 程序 设计 语言 ， 实 在 是 不 容易 。 
B ic. 我们 并 不 是 要 设计 C 语言 那样 的 语言 。 不 过 ， 这 类 主题 的 书 常会 选择 C 语言 的 某 些 简 
化 版 本 作为 研究 对 象 呢 。 
BH 本 书 会 包含 通过 正则 表达 式 实现 模式 匹配 的 语法 功能 吗 ? 
回 我 不 打算 介绍 这 些 。 
回 本 书 中 出 现 的 语言 ， 会 像 Per 那样 ， 同 一 种 逻辑 可 以 通过 多 种 方式 表达 吗 ? 
EL] 熟悉 之 后 ， 只 需 数 行 就 能 写 出 复杂 的 功能 ， 这 也 是 脚本 语言 的 一 个 特点 了 。 
A 你 们 当然 可 以 增加 语法 的 种 类 ， 不 过 这 就 留 作 课 后 作业 吧 。 和 毕竟 不 同 语法 的 本 质 是 相同 的 。 
Ul 也 就 是 说 不 会 介绍 这 部 分 内 容 了 吗 ? 
B 是 的 。 这 只 会 平 白 增加 篇 幅 而 已 。 
Dl 那 本 书 使 用 的 语言 还 能 称 为 脚本 语言 吗 ? 











B 想 问 的 是 这 个 啊 ? 这 种 语 











zx 









































支持 动态 数 


居 类 型 ， 无 需 事先 声明 变量 





一 























实 本 书 的 了 











题 应 该 是 以 现代 的 手法 来 设计 现代 语言 。 
i. 这 样 一 来 ， 这 本 书 会 变 成 什么 样子 0 





E? 或 讨 

















F 会 有 人 说 书 的 标题 与 内 容 不 符 了 吧 





Lo 


] 








本 书 将 设计 的 语言 命名 为 Stone 语言 。 实 


言 也 是 一 种 运行 于 Java 虚拟 机 的 语言 。 


现 该 语言 的 开发 语言 是 Java 语言 。 因 此 ，Stone i 











"TT 
B 这 9 





Ph， 还 是 说 明 一 下 





有 的 实现 ( implemen 


"实现 ”这 个 词 的 含义 比较 好 吧 ? 












































tation ) 指 的 是 通过 程序 来 实现 某 种 功能 。 把 它 至 














回 说 起 来 ，Stone 语言 的 


办 
的 


Perl 语言 和 Ruby 语言 对 吧 ? 

















Rf, 顶 多 算是 小 石子 ， 








因此 取 名 为 Stone。 





| B 没 错 。 它 称 不 上 是 s 














E 解 为 书写 程序 也 可 以 。 


BER 








J 











Stone 语言 运行 于 Ja 
AbT o F 





Eg 
Fi 


设计 语 


va 虚拟 机 ， 并 不 轻巧 。 之 所 以 选择 Java 语言 ， 
理 右 的 复杂 度 适 中 ， 常 用 于 实验 或 论证 各 种 语言 范 型 的 怕 
例如 ，Haskell 语言 或 OCaml 语言 之 类 的 函数 型 语言 ， 非 常 适合 开发 语言 处 到 








是 为 了 以 面向 对 象 的 方式 
EHE. 


Hiro MXZ 








语言 也 是 如 此 。 本 书 在 讲解 时 ， 默 认 读者 十 分 了 解 面向 对 象 语言 ， 尤 其 是 Java 语言 的 基本 编程 


方式 。 
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第 1 天 来 , 我 们 一 起 做 些 什么 吧 























[四 如 果 是 要 使 用 面向 对 象 语言 ，Ruby 语言 或 Scala 语言 这 些 不 可 以 吗 ? 




















… 它 们 可 能 会 赶 跑 一 部 分 读者 ， 编 辑 或 许 会 否决 这 个 提议 的 吧 。 














El 35/8 C 语言 和 yacc 来 实现 的 话 如 何 ? 老师 您 觉得 这 样 可 以 吗 ? 


加 咽 ，C 语言 本 身 没 什么 不 好 ， 但 要 实现 稍微 复杂 些 的 语言 处 理 器 时 ， 就 不 得 
的 编程 技术 。 最 终 写 出 的 C 语言 程序 会 具有 面向 对 象 风格 ， 那 还 不 如 从 最 开始 就 


象 语言 。 
































不 使 








各 种 不 同 




































































E 我 倒是 觉得 以 函数 式 语言 风格 来 写 C 语言 代码 也 挺 好 。 










































































回 如 果 要 写 一 本 设计 Tiny C 编译 器 的 书 ，C 语言 会 是 个 不 错 的 选择 吧 。 
(B 此 外 ， 这 里 不 会 使 用 yacc 相关 的 外 部 工具 。 我 打算 用 其 他 方法 来 设计 。 











更 用 面向 对 














栈 了 、 语 言 处 理 器 的 结构 与 本 书 的 框架 
无 论 是 解释 器 还 是 编译 器 ， 语 言 处 理 器 前 半 部 分 的 程序 结构 都 大 同 小 异 。 如 网 1.1 所 示 ， 源 


代码 首先 ; 




















年 进行 词法 分 析 ， 由 一 长 串 字 符 串 细 分 为 多 个 更 小 的 字符 串 单 元 。 分 割 后 的 字符 串 称 为 


单词 。 之 后 处 理 需 将 执行 语法 分 析 处 理 ， 把 单词 的 排列 转换 为 抽象 语法 树 。 至 此 为 止 ， 解 释 需 与 


编译 如 的 处 理 方式 相同 。 之 后 








析 抽 象 语法 树 一 边 执行 运算 。 

















首先 需要 于 











(a 
B 程序 的 分 忆 





双 源 代码 转换 为 抽象 语法 树 没 错 吧 ? 




















结果 能 由 抽象 语法 树 表现 ， 因 此 无 论 是 解释 器 还 是 编译 器 都 需要 


























到 抽象 语法 树 。 

















源 代 


单 





[ 编译 器 】 











码 ( 一 长 串 整 行 相连 的 字符 串 ) 
| 
词法 分 析 
Y 
词 排列 ( 简短 字符 串 的 排列 ) 
| 
语法 分 析 


Y 


抽象 语法 树 


代码 生成 执行 [ 解释 器 】 


















































4 














其 他 语言 ( 如 机 器 语言 ) 的 程序 程序 的 执行 结果 


语言 处 理 器 内 部 的 处 理 流程 
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， 编 译 带 将 会 把 抽象 语法 树 转换 为 其 他 语言 ， 而 解释 带 将 会 一 边 分 


) 
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今后 ， 本 书 将 根据 这 一 流程 开发 Stone 语言 的 处 理 器 。 各 章 内 容 如 下 所 示 。 
第 1 部 分 基础 篇 


设计 Stone 语言 的 解释 器 。 第 2 ~ 8 章 将 实现 一 个 具有 基本 功能 的 解释 器 。 第 9 ~ 10 章 将 介 
绍 一 些 高 级 内 容 。 


e 第 1 章 ( 第 1 天 ) 

本 章 。 
oe 第 2 章 ( 第 2 天 ) 

第 2 章 将 设计 Stone 语言 ， 决 定 Stone 语言 需要 具备 哪些 语法 功能 。 
e 第 3 章 ( 第 3 天 ) 

第 3 半 将 设计 词法 分 析 絮 ， 介 绍 通 过 正则 表达 式 实现 词法 分 析 的 方法 。 
oe 第 4 章 (第 4 天 ) 

第 4 章 将 讲解 抽象 语法 树 ， 并 通过 BNF 表达 Stone 语言 的 语法 。 
e@ 第 5 章 ( 第 5 天 ) 

第 5 章 将 利用 非常 简单 的 解析 器 组 合子 库 来 创建 语法 解释 器 。 人 解析 器 组 合子 库 的 内 部 结构 将 
在 第 17 章 进行 说 明 。 
ee 第 6 章 ( 第 6 天 ) 

第 6 章 将 设计 一 种 极为 基本 的 解释 器 。 在 这 一 章 结 束 后， 解释 器 将 能 够 实际 执行 Stone 语 
言 写成 的 程序 。 本 书 采 用 了 GluonJ 这 一 系统 来 设计 解释 器 的 程序 ， 因 此 这 一 章 还 会 简单 介绍 
GluonJ 的 使 用 方法 。 
@ 第 7 章 (第 7 天 ) 

第 7 章 将 增强 解释 器 的 功能 ， 使 它 能 够 执行 程序 中 的 函数 ， 并 且 支 持 闭 包 语法 。 
e 第 8 章 ( 第 8 天 ) 

7B 8 章 将 为 解释 右 增 加 static 方法 的 调用 支持 ,使 Stone 语言 能 像 Java 语言 那样 调用 静态 
方法 。 
ee 第 9 章 ( 第 9 天 ) 

第 9 章 将 为 Stone 语言 新 增 类 与 对 象 的 语法 。 本 章 将 使 用 闭 包 来 实现 该 功能 。 


e 5$ 10 zE (56 10 X.) 
第 10 章 将 为 Stone 语言 增加 数组 功能 。 
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第 2 部 分 性 能 优化 篇 


第 2 部 分 将 对 第 1 部 分 设计 的 Stone 语言 解释 名 进行 性 能 优化 。 其 中 ， 第 13 童 将 介绍 如 何 
设计 Stone 语言 的 编译 器 ， 帮 助 提 高 性 能 。 如 果 读 者 仅 对 编译 需 的 设计 方法 感 兴趣 ， 只 需 阅 读 第 
11 音 与 第 13 TBI]; 


e 第 11 章 (第 11 天 ) 
程序 不 应 在 访问 变量 时 每 次 都 搜索 变量 名 ， 而 应 首先 搜索 事先 分 配 好 的 编号 ， 提 高 访问 


十 月 5。 




















LE 





e 56 12 S (098 12 X) 
同样 地 ， 程 序 在 调用 对 象 的 方法 或 引用 其 中 的 字段 时 ， 也 不 应 直接 搜索 其 名 称 ， 而 应 搜索 编 
号 。 此 外 ,第 12 章 还 会 为 Stone 语言 的 解释 器 增加 内 联 缓存 ， 进 一 步 优 化 性 能 。 


e 5& 13 38 ( 8 13 X.) 

Stone 语言 的 解释 器 也 采用 了 中 间 代 码 解 释 ( 或 虚拟 机 ) 的 机 制 。Stone 语言 写成 的 程序 将 首 
先 被 转换 为 中 间 代 码 (或 二 进 制 代码 )， 解 释 需 执行 的 其 实 是 转换 后 的 中 间 代 码 。Ruby 等 语言 也 
采用 了 这 样 的 方式 。 第 13 草 还 将 介绍 如 果 要 设计 一 个 能 把 Stone 语言 转换 为 机 天语 言 的 编译 需 ， 
需要 做 哪些 准备 。 


e 5& 14 ZE( 58 14 X.) 

最 后 ， 为 了 提高 性 能 ，Stone 语言 有 必要 支持 静态 数据 类 型 ， 并 根据 数据 类 型 的 不 同 进一步 
优化 性 能 。 在 执行 具有 静态 数据 类 型 的 Stone 语言 程序 时 ， 编 译 器 可 以 先 将 其 转换 为 Java 二 进 
制 代 码 ， 再 直接 由 Java 虚拟 机 执行 该 程序 。 第 14 章 还 会 为 编译 器 增加 类 型 检查 功能 ， 在 执行 程 
序 前 检查 是 否 存 在 类 型 错误 ， 并 同时 提供 类 型 预 判 功能 。 这 样 一 来 ， 即 使 程序 没有 显 式 地 声明 数 
据 类 型 ，Stone 语言 的 解释 需 也 能 推测 并 指定 合适 的 类 型 。Scala 等 一 些 语 言 也 采用 了 这 一 机 制 。 
第 3 部 分 解说 篇 ( 自习 时 间 ) 


第 3 部 分 将 介绍 一 些 在 开发 Stone 语言 过 程 中 没 能 涉及 的 进 阶 主题 。 第 15、16 章 的 内 容 是 
大 多 语言 处 理 器 相关 教材 中 都 会 讲解 的 基础 知识 。 


| 四 x, 前 14 章 就 把 书 名 所 讲 的 内 容 都 介绍 完了 呢 。 | 
B, sinit. 
Dy 这 么 做 是 为 了 博 人 眼球 四? 
El 小 A， 不 能 这 么 挑刺 哦 。 
D 不 过 其 实 这 也 不 难 理解 ， 上 课时 也 常会 出 现 本 课 内 容 还 没 全 部 结束 ， 就 被 要 求 去 自学 剩 下 的 
内 容 的 情况 呢 。 
| B 没 错 ， 这 里 也 是 一 样 。 i 
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e@ 第 15 章 (第 15 天 ) 
Stone 语言 的 词法 分 析 器 由 Java 的 正则 表达 式 库 实 现 。 第 15 章 将 不 使 用 这 种 方式 ， 手 工 设 
计 词 法 分 析 器 。 具 体 来 讲 ， 这 一 章 将 介绍 基于 正则 表达 式 的 字符 串 匹 配 程 序 设 计 。 


e 5&8 16 E ( 56 16 X.) 

本 书 采 用 了 解析 器 组 合子 库 这 一 简单 的 库 来 实现 语法 分 析 器 。 第 16 章 将 介绍 一 些 语法 分 析 
的 基本 算法 ， 并 以 LL 语法 分 析 为 基础 ， 手 工 设计 一 个 简单 的 语法 分 析 器 。 
e 第 17 章 (第 17 天) 

第 17 章 将 简单 介绍 本 书 使 用 的 解析 器 组 合子 库 的 内 部 结构 ， 并 分 析 该 库 的 源 代码 。 


e 第 18 章 (第 18 天 ) 
Stone 语言 的 解释 器 采用 了 GluonJ 系统 来 实现 ， 该 系统 允许 Java 语言 执行 类 似 于 Ruby 语言 
中 open class 的 功能 。 第 18 章 将 总 结 使 用 GluonJ 时 的 一 些 琐碎 的 注意 事项 。 





e 第 19 章 (第 19 天 ) 

抽象 语法 树 是 语言 处 理 需 的 核心 。 在 实现 面向 对 象 语言 时 ， 抽 象 语法 树 的 节点 对 象 的 类 会 包 
含 各 种 类 型 的 方法 。 本 书 借助 了 GluonJ 来 增加 这 些 方法 ,读者 还 可 以 通过 其 他 设计 模式 来 实现 
相同 的 效果 。 第 19 章 将 介绍 使 用 设计 模式 实现 抽象 语法 树 的 优 缺点 ， 并 与 使 用 GluonJ 的 方式 作 
比较 。 























n 也 就 是 说 全 书 共 有 19 章 对 吧 ? 老师 ， 那 平时 时 间 不 多 的 读者 应 该 优先 阅读 那些 章节 比较 | 
好 呢 ? 
El 你 是 想 问 有 哪些 章节 跳 过 不 读 也 可 以 对 吧 ? 
O 咖 ， 我 建议 先 读 完 第 2~8 章 ， 之 后 是 第 15、16 章 ， 如 果 还 有 时 间 ， 再 读 一 下 第 11 章 和 第 
13 章 。 
B 第 9 章 关 于 面向 对 象 的 内 容 不 重要 吗 ? 
E 要 说 最 近 比 较 流行 的 话题 ， 第 14 章 的 内 容 才 更 重要 吧 。 
加 其 实 如 果 时 间 足 够 ， 我 希望 读者 能 够 读 完 全 书 。 真 要 选取 部 分 来 读 的 话 ， 我 建议 按 前 面 讲 的 
L 顺序 阅读 。 J 
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2 设计 程序 设计 语言 








从 本 章 开 始 ， 我 们 将 逐步 实现 一 种 名 为 Stone 语言 的 程序 设计 语言 。 在 具体 实现 之 前 ， 我 们 
必须 设计 Stone 语言 的 语法 。 本 章 将 讨论 如 何 设计 Stone 语言 。 如 果 想 要 从 零 开 始 设计 一 种 新 颖 
实用 的 语言 ， 结 果 往 往 是 半途 而 废 。 即 使 设计 成 功 ， 也 可 能 由 于 过 于 复杂 难以 实现 等 原因 而 最 终 
不 了 了 之 。 因 此 ,本 书 将 首 移 设 计 一 种 极为 简单 的 语言 ， 并 开发 相应 的 语言 处 理 融 ， 确 保 程序 能 
够 正确 运行 。 之 后 ， 再 慢 慢 向 其 中 添加 诸如 面向 对 象 等 一 些 复杂 的 语言 功能 。 也 就 是 说 ， 先 设计 
出 一 个 简化 的 成 品 ， 再 逐步 改良 。 



































FAID 麻 洗 虽 小 、 五 脏 俱全 的 程序 设计 语言 


一 种 程序 设计 语言 至 少 需要 具备 哪些 语法 功能 呢 ? 整数 四 则 运算 之 类 的 功能 自然 必 不 可 少 ， 
最 好 还 能 文 持 字符 串 处 理 。 同 时 ， 这 种 语言 应 该 对 变量 提供 支持 ， 不 然 就 和 计算 天 没什么 区 别 
To if 语句 及 while 语句 等 一 些 基 本 的 控制 语句 也 是 必需 的 。Stone 语言 姑且 算是 一 种 脚本 语 
言 ， 因 此 不 需要 指定 静态 数据 类 型 ， 用 户 在 使 用 时 也 不 必 事 移 声 明 变量 ， 这 样 它 的 语法 能 较为 简 
洁 。 像 Java 语言 那样 必须 静态 地 指定 数据 类 型 的 语言 ， 用 户 在 使 用 变量 及 参数 前 必须 先进 行 声 
明 ， 并 指定 数据 类 型 。 例 如 ， 以 


int i = 0; 






































的 方式 声明 了 变量 i 之 后 ， 它 就 成 为 了 一 个 int KWE. BAP AAAH, 但 
目前 的 Stone 语言 还 不 需要 。Stone 语言 既 不 需要 在 使 用 变量 前 事先 声明 ， 也 不 需要 指定 变量 的 
类 型 。 用 户 可 以 将 变量 任意 赋值 为 整数 或 字符 串 。 只 是 这 样 一 来 ,如果 程序 中 出 现 字符 串 变 量 相 
减 的 语句 ， 就 会 引起 运行 错误 并 终止 。 

和 Java 语言 一 样 ，Stone 语言 的 句 末 需要 使 用 分 号 ( ; )。 不 过 如 果 正 巧 在 句 末 换行 , 分 号 也 
可 省 略 。 例 如 ， 下 面 这 样 的 代码 也 是 合法 的 。 


sum = 0 






































shoes 3b 
while i « 10 ( 
sum = sum + i 


ab Er 2b a 





这 段 程序 是 计算 1 至 9 这 9 个 数字 的 和 ， 并 输出 结果 。 在 执行 这 段 程 序 时 ， 最 后 一 条 语句 
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将 显示 计算 结果 ， 之 后 程序 结束 。Stone 语言 不 支持 类 似 于 Java 语言 中 return 语句 的 功能 ， 最 
后 一 条 语句 的 计算 结果 就 是 整个 程序 的 运行 结果 。 在 上 面 的 例子 中 ， 最 后 一 行 只 写 了 一 个 sum. 
Stone 语言 会 把 变量 sum 也 视 为 一 条 语句 ， 该 语句 将 读 取 变量 sum 的 值 。 执 行 完 这 条 语句 后 
程序 就 会 结束 。 于 是 ， 上 面 这 段 含 有 while 语句 的 程序 的 运行 结果 是 得 到 一 个 值 为 45 的 变 


n 
里 sumo 




































































B 这 段 程序 和 Ruby 语言 很 像 呢 。 它 和 Ruby 语言 唯一 的 不 同 在 于 ，while 语句 体 是 通过 { } 括 | 
起 来 的 ， 而 Ruby 语言 则 是 使 用 do 和 end。 
而 且 不 同 于 Java 语言 ， 这 段 程序 中 while 语句 的 条 件 表达 式 1<10 两 侧 没有 括号 。 
加 没 错 ， 因 此 语句 体 必须 由 { } 括 起 来 才 行 。 
(H 在 书写 Java 代码 时 ， 如 果 语 句 体 中 仅 有 一 条 语句 ， 这 对 大 括号 就 能 省 略 了 。 


























































































































上 面 的 例子 没有 使 用 if£ 语句 ， 接 下 来 让 我 们 来 看 一 个 使 用 if 语句 的 程序 示例 。 这 段 程序 
的 计算 内 容 与 前 一 个 程序 相同 ， 都 是 计算 1~9 这 9 个 数字 的 和 。 不 过 ， 这 里 将 分 别 计 算 其 中 奇 
数 与 偶数 的 和 ， 最 后 再 将 两 者 相 加 。 


even - 0 
odd 0 
ab e dL 
while i « 10 ( 
if i % 2 == 0 { // even number? 
even = even + i 
} else { 
odd - odd EEE 





} 
a c OR ow d 


) 


even « odd 














在 上 面 的 代码 中 ，// 之 后 直至 该 行 末尾 的 内 容 都 是 注释 。 最 后 一 句 语句 为 even+odd， 它 
将 会 把 求 和 结果 作为 程序 的 执行 结果 输出 。 

该 例 中 ,变量 i 的 值 被 用 于 奇偶 分 支 判 断 。 条 件 表达 式 无 需 用 括号 括 起 来 ， 不 过 完成 判断 
后 执行 的 语句 体 需 要 使 用 { } 括 起 来 。 和 Java 等 语言 一 样 ，else 及 之 后 的 代码 可 有 可 无 。 


EE. E522 

Stone 语言 为 了 简化 语法 ， 省 去 了 if 语句 及 while 语句 的 条 件 表 达 式 两 侧 的 括号 ， 并 允许 
用 户 省 略 可 以 省 略 的 句 尾 分 号 。 如 果 同 一 行 中 写 有 多 名 语句 ， 各 句 句 尾 的 分 号 则 不 能 省 略 。 此 
时 ， 分 号 用 于 区 分 不 同 的 语句 。 

此 外 ，{ } 括 起 来 的 代码 块 中 最 后 一 条 语句 的 句 尾 分 号 能 够 省 略 。 也 就 是 说 ， 如 果 句 尾 直 接 
跟着 }， 就 不 必 使 用 分 号 。 
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在 上 例 中 , y = 2 之 后 没有 分 号 。 分 号 并 不 是 一 句 语 句 结 束 的 标识 ， 而 是 代码 块 中 语句 之 
间 的 分 隔 符 。 因 此 ， 下 面 的 代码 块 中 含有 3 条 语句 ， 而 不 是 2 条 : 














其 中 第 三 条 应 该 被 视 为 一 条 空 语 句 。 空 语句 指 的 是 没有 内 容 的 语句 。 
Stone 语言 中 ， 行 末 的 句 尾 分 号 也 能 省 略 。 也 就 是 说 ， 如 果 该 语句 之 后 是 换行 符 ， 就 不 需要 
另外 添加 分 号 。 因 此 ， 空 行 也 应 被 视 为 一 句 空 语句 ， 只 不 过 省 略 了 句 尾 的 分 号 。 


1 








x 


2 


y 


在 上 面 的 代码 中 ,第 1 与 第 3 行 之 间 的 空 行 是 一 句 空 语句 。 

由 于 Stone 语言 的 句 尾 分 号 能 够 省 略 ， 换 行 与 否 将 会 大 有 不 同 。 和 Java 等 语言 不 同 ， 此 时 换 
行 符 不 会 被 简单 地 当 作 空白 符 处 理 。 因 此 ，Stone 语言 的 表达 式 和 语句 不 能 中 途 换行 。 只 有 语句 
的 句 尾 , 或 if while 等 语句 的 语句 体 之 前 的 { 后 能 够 换行 。} 与 else 之 间 , 或 else 与 {之 间 
不 能 换行 。 例 如 : 
if i$ 2--0  // error 


( 


even = even + i 








) // exror 
else //error 


( 


odd - odd « i 


) 


第 1 行 的 换行 出 现在 ( 之 前 ， 这 是 不 允许 的 。 第 4 行 没有 将 } else { 写 在 一 起 ， 同 样 是 
错误 的 。 只 有 下 面 的 格式 才 是 唯一 正确 的 写法 。 





us 3t CE ee 
even = even + i 
) eise ( 


odd s odd * 1 


) 


只 不 过 ，else 部 分 的 换行 规则 ， 也 许 不 能 符合 所 有 人 的 喜好 。 
上 述 限 制 尽管 增加 了 代码 书写 的 难度 ， 但 如 果 人 允许 代码 在 各 种 情况 下 换行 ， 语 言 处 理 天 的 实 
现 就 会 变 得 复杂 。 本 书 为 了 保持 实现 的 简洁 性 ， 对 能 够 换行 的 情况 做 了 尽 可 能 多 的 限制 。 
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EXER. escam 


如 果 代码 中 能 够 随处 省 略 分 号 ， 并 可 以 任意 换行 ， 似 乎 可 读 性 就 会 提升 。 但 要 是 一 种 程序 
设计 语言 的 各 种 语法 元 素 都 能 省 略 ， 语 句 中 任何 地 方 都 能 换行 ， 它 就 可 能 会 变 得 模棱两可 ， 引 
起 误解 。 

如 果 语 言 的 含义 不 清 ， 程 序 员 就 无 法 判断 程序 的 实际 执行 方式 ， 这 会 造成 很 大 的 麻烦 。 事 实 
上 ， 如 何 为 这 种 语言 设计 语言 处 理 融 也 很 让 人 头疼 。 在 设计 一 种 语言 时 ， 设 计 者 必须 多 加 注意 ， 
确保 语言 中 不 出 现 模棱两可 的 牙 义 语法 。 






































人 D 刚刚 讨论 的 句 尾 分 号 的 省 略 问题 ， 不 会 有 什么 歧义 吧 ? | 
D] 如 果 一 个 分 号 不 能 省 略 ， 又 没有 明确 的 不 可 省 略 的 理由 ， 会 让 人 感到 很 困惑 呢 。 
B 我 在 设计 时 已 经 尽力 避免 出 现 这 种 情况 了 。 不 过 刚才 的 说 明确 实 不够 明了 ， 不 太 容易 理解 。 
回 我 倒是 觉得 多 写 几 个 分 号 不 是 什么 问题 ， 不 过 似乎 大 家 都 不 喜欢 写 分 号 嘛 。 

B 就 是 呀 ， 如 果 语 句 必须 由 分 号 结束 ， 就 不 会 有 那么 多 问题 了 。 

B 嗯 ， 不 过 从 使 用 者 的 角度 来 看 ， 能 不 用 的 东西 肯定 是 不 用 比较 好 。 

图 顺便 一 提 ， 基 于 类 似 的 理由 ，Stone 语言 也 不 会 支持 Ruby 语言 的 正则 表达 式 字 面 量 。 

正则 表达 式 字 面 量 ? 

加 如 果 只 要 把 两 个 / 内 的 内 容 视 作 正则 表达 式 字 面 量 自然 没什么 问题 ， 不 过 / 本 身 还 是 除 号 不 
是 吗 ? 比如 说 ，x / ruby / 3 该 怎样 理解 呢 ? 

BH g, / 的 含义 可 以 通过 上 下 文 来 判断 。 

加 话 虽 如 此 ， 不 过 通过 上 下 文 判 断 并 不 容易 ， 实 现 起 来 也 较为 复杂 ， 因 此 Stone 语言 就 不 支持 


L 这 种 语法 了 。 J 
例如 ，Stone 语言 中 while 语句 体 必 须 由 大 括号 {} 包围 。if 语句 也 是 如 此 。 条 件 表达 式 不 
一 定 非 要 用 括号 括 起 ， 但 这 两 个 语句 体 两 侧 必 须 使 用 括号 。 
如 果 像 Java 语言 那样 ， 语 名 体内 仅 含 一 条 语句 时 可 以 不 使 用 括号 ， 就 会 出 现下 面 这 样 的 
歧义 。 


sp () & o9 — 3 -— RB 
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这 句 if 语句 能 有 两 种 解读 方式 。 


Bu G ec; dm] 
is (ox 4 ex mj 





前 者 的 条 件 表达 式 是 0 < x - y， 如 果 为 真 则 结果 为 -z， 后 者 的 条 件 表达 式 为 0 < x, 如 
果 为 真 则 结果 为 -y - z。 如 果 这 种 语言 的 语法 明确 规定 了 如 何 解释 这 种 情况 ， 语 言 处 理 器 也 做 
了 相应 的 实现 ， 自 然 没 有 问题 ， 和 否则 这 种 语法 就 是 模棱两可 的 。 要 明确 规定 如 何 判 断 并 不 是 一 件 
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容易 的 事 ， 因 此 Stone 语言 的 语句 体 必须 使 用 C) 括 起 来 ， 避 免 出 现 这 个 问题 。 
































(m 只 要 在 可 能 产生 歧义 时 使 用 括号 不 就 可 以 了 吗 ? j 
E] 这 可 不 行 ， 万 一 在 应 该 使 用 的 地 方 没有 使 用 括号 ， 就 出 问题 了 。 
B 忘记 使 用 括号 而 导致 了 二 义 性 时 ， 把 它 判定 为 语法 错误 不 就 行 了 ? 

| B 要 设计 出 能 够 发 现 这 类 语法 错误 的 语言 处 理 器 可 是 一 件 大 工程 了 。 ] 


A 














































































































if 语句 的 dangling-else 问题 是 一 个 著名 的 二 义 语法 。 例 如 ，Java 语言 允许 下 面 这 样 的 if 
句 。 由 于 语句 体 中 只 有 一 条 语句 ， 因 此 无 需 使 用 大 括号 。 
REM e = o) 
jus (ee = 0) 
ECUN Ee 4e Ww/S 


else 


全 EUREE 区 7 


这 段 代 码 的 问题 在 于 判断 else 应 当 对 应 哪 一 个 i1£。 如 果 语 法 没有 对 此 做 出 明确 规定 ， 两 
个 if 都 没 问 题 。Java 语言 当然 做 了 规定 ， 在 这 种 情况 下 ，else 与 最 近 的 一 个 if 对 应 ， 因 此 不 
存在 歧义 (因此 ， 上 面 代码 中 的 缩 进 是 不 恰当 的 )。 如 果 在 设计 语言 时 欠 考 虑 ， 就 很 容易 出 现 这 
类 dangling-else 问题 ， 使 语言 变 得 模棱两可 。 为 此 ， 设 计 者 必须 万 分 小 心 。 









































( 四 Stone 语言 会 怎样 处 理 dangling-else 问题 呢 ? | 
[I 因为 语句 体 必 须 被 大 括号 包围 ， 所 以 不 存在 这 个 问题 。 
O A 君 ,在 Stone 语言 里 ， 如 果 像 下 面 这 么 写 。 


















































i ss m 9 4 xe e 91t1:x-y]lbeheeT- 





显然 else 对 应 的 是 第 一 个 if。 
如 果 写 成 这 样 














t3 


x oss oe 9 d xe e 0101: ele =x Yi 














>H 


就 明显 是 与 第 2 个 对 应 。 由 于 语句 体外 必须 写 有 {}， 因 此 不 会 产生 歧义 。 
O 老师 ， 我 刚 发 现 Stone 语言 里 是 不 能 使 用 else if 的 呢 。 









































a ose 0 
Y = 工 

} elese | LE 2 ss ( 
y= 0 

} else { 
y-2-1 


}} 
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因为 一 定 要 使 用 括号 括 起 来 ， 所 以 第 3 行 的 else 与 if 之 间 不 得 不 插入 一 个 (o 




































































O 是 呢 ，Stone 语言 的 语法 中 的 确 有 很 多 地 方 能 挑 出 毛病 。 添 加 else if 语法 的 事 就 当 
习题 好 了 。 


(H 天， 这 样 也 行 吗 ? | 
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O8 
3 分 割 单词 





语言 处 理 需 的 第 一 个 组 成 部 分 是 词法 分 析 需 (lexical analyzer, lexer 或 scanner )。 程 序 的 源 
代码 最 初 只 是 一 长 串 字 符 串 。 从 内 部 来 看 ， 源 代码 中 的 换行 也 能 用 专门 的 (不 可 见 ) 换行 符 表 
示 ， 因 此 整个 源 代码 是 一 种 相连 的 长 字符 串 。 这 样 的 长 字符 串 很 难处 理 ， 语 言 处 理 顺 通常 会 首先 
将 字符 串 中 的 字符 以 单词 为 单位 分 组 ， 切 制 成 多 个 子 字符 串 。 这 就 是 词法 分 析 。 


EAR Token 31$ 
程序 设计 领域 中 的 单词 包含 + 或 一 之 类 的 符号 。 例 如 ， 下 面 是 基 个 程序 中 的 一 行 代码 。 


while i « 10 ( 














iE BEER FRE TIER 


"while" "nin "nen "10" Him 








这 句 代码 被 分 割 为 了 5 个 字符 串 。 其 中 while 是 一 个 词语 , 但 要 把 < 与 { 也 称 作词 语 ， 的 
确 有 些 不 自然 因此， 人们 通常 把 词法 分 析 的 结果 称 为 单词 "( token )。 

词法 分 析 将 筛选 出 程序 的 解释 与 执行 必需 的 成 分 。 单 词 之 间 的 空白 或 注释 都 会 在 这 一 阶段 被 
去 除 。 例 如 ， 


i-i-«1 // increment 





i=i+1 








这 两 行 代码 词法 分 析 的 结果 相同 ， 都 将 是 5 个 单词 : 


"ni" "nl" "nin" nan "nj" 








在 经 过 词法 分 析 之 后 ， 程 序 员 便 无 需 再 处 理 代码 的 注释 ， 也 不 用 考虑 单词 之 间 是 否 含有 空白 符 。 



















































































(n BOB EM TIEHROXBUSm, fuk TEE SR | 














词法 分 析 器 将 把 程序 源 代 码 视 作 字 符 串 ， 并 把 它 分 割 为 若干 单词 。 分 割 后 得 到 的 单词 并 不 
是 简单 地 用 String 对 象 表示 ， 而 是 使 用 了 代码 清单 3.1 中 的 Token 对 象 。 这 种 对 象 除了 记录 
该 单词 对 应 的 字符 串 ， 还 会 保存 单词 的 类 型 、 单 词 所 处 位 置 的 行 号 等 信息 。 代 码 清单 3.1 中 使 用 



































(D 在 英语 与 日 语 中 ， 自 然 语言 中 的 单词 ( word、 单 语 ) 与 编译 领域 中 的 单词 (token、 卜 一 分 > ) 是 不 同 的 词 。 中 文 直接 将 
token 译作 单词 ， 因 此 翻译 成 中 文 后 ， 原 文 这 和 句 话 显 得 有 些 多 余 。 译 者 注 
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的 StoneException 是 RuntimeException 的 一 个 子 类 (代码 清单 3.2 )。 

实际 的 单词 是 Token 类 的 子 类 的 对 象 。Token 类 根据 单词 的 类 型 ， 又 定义 了 不 同 的 子 
X, Stone 语言 含有 标识 符 、 整 型 字面 量 和 字符 串 字 面 量 这 三 种 类 型 的 单词 ， 每 种 单词 都 定义 了 
对 应 的 Token 类 的 子 类 。 每 种 子 类 都 覆盖 了 Token 类 的 isrdentifier (如 果 是 标识 符 则 为 
E), isNumber (如 果 是 整 型 字面 量 则 为 真 ) 及 isstring (如 果 是 字符 串 字 面 量 则 为 真 ) 方 
法 ， 并 根据 具体 类 型 返回 相应 的 值 。 














































































































( 回 把 单词 的 种 类 限定 为 3 种 ， 还 真是 数 衍 呵 。 | 
D] 用 ie 什么 的 方法 来 区 别 不 同 的 类 型 也 有 些 …… 
Dl 以 后 想 要 增加 单词 的 类 型 也 不 行 了 吧 。 

B 这 里 的 确 有 些 随便 了 ， 应 该 用 enum 之 类 的 才 对 。 J 






















































































此 外 ，Stone 语言 还 定义 了 一 个 特别 的 单词 Token .EOF (end offile )， 用 于 表示 程序 结 
类 似 的 还 有 Token.EOL ( end of line )， 用 于 表示 换行 符 。 不 过 它 是 一 个 string 对 象 ， 也 就 是 
说 ， 只 是 一 个 单纯 的 字符 串 。 





医 双 了 了、 通过 正则 表达 式 定义 单词 

要 设计 词法 分 析 器 ， 首 先 要 考虑 每 一 种 类 型 的 单词 的 定义 ， 规 定 怎样 的 字符 串 才 能 构成 一 个 
单词 。 这 里 最 重要 的 是 不 能 有 靶 义 。 某 个 特定 的 字符 串 只 能 是 某 种 特定 类 型 的 单词 。 举 例 来 讲 ， 
要 是 字符 串 123h 既 能 被 解释 为 标识 符 ， 又 能 被 解释 为 整 型 字面 量 ， 之 后 的 处 理 就 会 相当 麻烦 。 
这 种 单词 的 定义 方式 是 不 可 取 的 。 
Token.java 


package stone; 























public abstract class Token { 
public static final Token EOF = new Token(-1)(); // end of file 
public static final String EOL = "WMWn"; // end of line 
private int lineNumber; 


protected Token(int line) { 
lineNumber - line; 
) 


public int getLineNumber() { return lineNumber; } 

public boolean isIdentifier() ( return false; } 

public boolean isNumber() { return false; ] 

public boolean isString() ( return false; ] 

public int getNumber() ( throw new StoneException("not number token"); } 
public String getText() ( return ""; } 
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ER StoneException.java 


package stone; 
import stone.ast.ASTree; 


public class StoneException extends RuntimeException { 
public StoneException(String m) { super(m); } 
public StoneException(String m, ASTree t) ( 
super(m + " " + t.location()); 
) 

















Stone 语言 支持 三 种 类 型 的 单词 ， 即 标识 符 、 整 型 字面 量 及 字符 串 字 面 量 。 

标识 符 ( identifier ) 指 的 是 变量 名 、 函 数 名 或 类 名 等 名 称 。 此 外 , + 或 - 等 运算 符 及 括号 等 标 
点 符号 也 属于 标识 符 。 标 点 符号 与 保留 字 有 时 也 会 被 归 为 另 一 种 类 型 的 单词 ， 不 过 Stone 语言 在 
实现 时 没有 对 它们 加 以 区 分 ， 都 作为 标识 符 处 理 。 




















| D 保留 字 是 什么 ? 3 
B 指 的 是 那些 无 法 用 作 变 量 名 或 类 名 的 名 称 。Java 语言 中 的 class E public 之 类 的 就 是 保 
【| ER J 

整 型 字面 量 (integer literal) 指 的 是 127 或 2014 等 字符 序列 。 如 果 仅 使 用 整 型 这 样 的 名 称 ， 
读者 可 能 会 把 它 与 程序 执行 过 程 中 赋值 给 变量 的 整数 值 混同 ， 因 此 这 里 使 用 了 整 型 字面 量 的 名 
称 ， 用 于 指 代 整 数值 的 字符 序列 。 

例如 ，Java 语言 文 持 0x1f 这 样 的 16 进 制 数 表 示 。 这 种 4 个 字符 组 成 的 字符 串 也 是 整 型 字 
面 量 。 用 一 个 整数 值 来 表示 的 话 ， 即 为 31。 

字符 串 字面 量 (string literal) 是 一 串 用 于 表示 字符 串 的 字符 序列 。 与 Java 等 语言 一 样 ， 被 
双 引 号 (" ) 括 起 来 的 字符 序列 就 是 一 个 字符 串 字面 量 。 双 引号 及 其 中 的 字符 构成 了 一 个 字符 串 
字面 量 ， 表 示 的 是 某 一 字符 串 类 型 的 值 ， 该 值 即 为 双 引 号 内 包含 的 字符 序列 。 例 如 ， 字 符 串 字面 
^t "Java" 表示 的 是 字符 串 值 Java。 

双 引 号 之 间 可 以 使 用 \n、\" 与 \ 这 三 种 类 型 的 转 义 字符 。 它 们 分 别 表示 换行 符 、 双 引号 和 
反 斜 杠 。 因 此 ， 尽 管 "x\n" 这 一 字符 串 字 面 量 含 有 5 个 字符 ， 但 它 表 示 的 是 一 个 由 2 个 字符 组 
成 的 字符 串 值 ， 其 中 第 一 个 字符 是 x， 第 二 个 是 换行 符 。 


Bl 如 果 能 用 one. two, three 之 类 的 字符 串 作为 整 型 字面 量 来 表示 数字 , 会 是 一 件 挺 有 意思 的 | 

























































































































































































事 吧 ? 表示 的 值 当然 就 是 整数 1、2、3 了 。 
































本 书 在 定义 单词 时 使 用 了 正则 表达 式 。 这 样 一 来 ， 就 能 够 借助 正则 表达 式 库 简单 地 实现 词法 
分 析 右 。 简 言 之 ， 正 则 表达 式 regular expression ) 是 一 种 用 于 字符 串 模 式 匹配 的 书写 记号 。 

正则 表达 式 中 能 使 用 一 些 特殊 的 记号 (元 字符 )。 在 不 同 的 正则 表达 式 实现 方式 中 ， 人 允许 使 
用 的 元 字符 有 所 不 同 。 表 3.1 列 出 的 记号 在 大 多 数 情况 下 都 能 使 用 。 例 如 ，. *\ .java 指 的 是 
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以 .java 结束 的 任意 长 度 的 字符 串 模 式 。. *\. 由 两 部 分 组 成 ，. * 表示 由 任意 字符 组 成 的 任 
意 长 度 的 字符 串 模式 ,，\. 表示 与 句点 字符 相 匹 配 的 字符 串 模 式 。(java |javax)\. .* 则 表示 
由 java. 或 javax. 起 始 的 任意 长 度 的 字符 冲模 式 。 































































































( Bl 正则 表达 式 内 涵 丰 富 ， 在 此 不 多 著述 ， 我 们 先 继续 介绍 。 ) 
正则 表达 式 的 元 字符 

. (句点 ) 与 任意 字符 匹配 

[0-9] 与 0 至 9 中 的 某 个 数字 匹配 

[^0-9] 与 0 至 9 这 些 数字 之 外 的 某 一 个 字符 匹配 

pat* 模式 pat 至 少 重复 出 现 0 次 

pat« 模式 pat 至 少 重复 出 现 1 次 

pat? 模式 pat 出 现 0 次 或 1 次 

pati|pat2 与 模式 pati 或 模式 pat2 匹配 

() 将 括号 内 视 为 一 个 完整 的 模式 

Ac 与 单个 字符 c ( 元 字符 * 或 . 等 ) 匹 配 


























接 下 来 ,我 们 借助 正则 表达 式 来 定义 Stone 话 言 的 单词 。 正 则 表达 式 的 写法 遵循 Java 正则 
表达 式 库 java.util.regex 的 规定 。 
首先 来 定义 整 型 字面 量 ， 它 比较 简单 。 





[0-9] + 
从 0 到 9 中 取出 一 个 或 以 上 的 数字 ， 就 能 构成 一 个 整 型 字面 量 。 
然后 定义 标识 符 。 


B-z annl A-A anze 


这 个 正则 表达 式 表示 至 少 需要 一 个 字母 、 数 字 或 下 划 线 “， 且 首 字符 不 能 是 数字 ， 这 种 表示 
方式 涵盖 了 常用 的 名 称 。 根 据 该 定义 ， 对 整 型 字面 量 和 标识 符 的 判断 不 存在 二 义 性 。 

Stone 语言 的 标识 符 包 括 各 类 符号 ， 因 此 下 面 才 是 真正 完整 的 正则 表达 式 。 各 个 模式 之 间 需 
要 通过 | 连接 。 即 ， 


[A-Z a-z] [A-Z a-z0-9]*|-2|«-2|»2|&&| N| N| | Vo( Punct) 
































最 后 的 Np(Punct] 表示 与 任意 一 个 符号 字符 匹配 。 模 式 \|\| 将 会 匹配 | |。 由 于 | 是 正则 
表达 式 的 元 字符 ,因此 在 使 用 时 必须 在 前 面 添加 \ 来 转 义 。==、>=、<=、&& 与 | | 由 两 个 字符 组 成 ， 
Stone 语言 将 它们 视 为 一 个 整体 ， 即 含有 2 个 字符 的 符号 。 除 此 之 外 的 字符 组 合 将 被 拆 开 处 理 
例如 ，+- 将 被 视 作 + 与 - 两 个 不 同 的 符号 。 

最 后 需要 定义 的 是 字符 串 字 面 量 。 由 于 不 得 不 处 理 各 种 转 义 字符 ， 字 符 串 字面 量 的 定义 稍微 
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有 些 复 杂 。 
EA AANA A Ae wy 
首先 ， 从 整体 上 来 看 ， 这 是 一 个 " (pat) *" 形式 的 模式 ， 即 双 引 号 内 是 一 个 与 pat 重复 出 
现 至 少 0 次 的 结果 匹配 的 字符 串 。 其 中 , 模式 pat 与 \"、\\、\n 或 除 " 之 外 任意 一 个 字符 匹 
配 。 反 斜 杠 \ 具有 特殊 的 含义 ， 因 此 在 正则 表达 式 中 需要 通过 \\ 的 方式 转 义 ， 使 整个 模式 变 


得 复杂 。 
























































| Dl 老师 ， 这 样 的 正则 表达 式 就 能 完全 对 应 所 有 的 字符 串 字面 量 了 吧 ? | 
f 


Bl EYE- :应 该 都 没 问题 吧 ……. 至 少 准备 的 一 些 测试 












































医 芝 了 N、 借 助 java.util.regex 设 计 词 法 分 析 器 


只 要 能 够 通过 正则 表达 式 来 表示 单词 的 定义 ， 词 法 分 析 器 的 设计 就 没有 太 大 的 困难 。Java ifi 
言 的 正则 表达 式 库 能 够 在 模式 匹配 后 返回 匹配 的 字符 串 中 的 一 部 分 ， 本 书 将 利用 这 一 功能 来 实现 
词法 分 析 需 。 例 如 ， 下 面 的 字符 串 


http://javassist.org/ 














与 正则 表达 式 


http://(.«)/ 





匹配 。Java 语言 能 够 获取 与 括号 中 的 模式 .+ 匹配 的 子 字符 串 javassist .org。 如 果 模 式 
包含 多 个 括号 ， 各 个 括号 内 的 子 字符 串 都 能 被 分 别 取得 。 

每 一 对 左右 括号 都 对 应 了 与 其 包围 的 模式 相 匹 配 的 子 字 符 串 。 要 利用 这 一 功能 设计 词法 分 析 
器 ， 首 先 要 准备 一 个 下 面 这 样 的 正则 表达 式 。 


NXS*((//.*)| € pati )|( pat2 )| pat3 )? 





HP, pati 是 与 整 型 字面 量 匹配 的 正则 表达 式 ，pat2 与 字符 串 字 面 量 匹配 ，pat3 则 与 
标识 符 匹 配 。 起 始 的 Ns 与 空 字符 匹配 ，\sx 与 0 个 及 0 个 以 上 的 空 字符 匹配 。 模 式 /7 . * 匹配 
由 // 开始 的 任意 长 度 的 字符 串 ， 用 于 匹配 代码 注释 。 于 是 ， 上 述 正则 表达 式 能 匹配 任意 个 空白 
符 以 及 连 在 其 后 的 注释 、 整 型 字面 量 、 字 符 串 字面 量 或 标识 符 。 又 因为 它 最 后 以 ? 结尾 ， 所 以 仅 
由 任意 多 个 空白 符 组 成 的 字符 串 也 能 与 该 模式 匹配 。 

执行 词法 分 析 时 ， 语 言 处 理 天 将 逐 行 读 取 源 代码 ， 从 各 行 开头 起 检查 内 容 是 否 与 该 正则 表达 
式 匹配 ， 并 在 检查 完成 后 获取 与 正则 表达 式 括 号 内 的 模式 相 匹配 的 字符 串 。 

左 起 第 1 个 左 括号 对 应 的 字符 串 与 该 括号 对 应 的 模式 匹配 ， 不 包含 字符 串 头 部 的 空白 
符 。 如 果 匹 配 的 字符 串 是 一 句 注释 ， 则 对 应 于 左 起 第 2 个 左 括号 ， 从 第 3 个 左 括号 起 对 应 的 都 
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是 nul1l。 如 果 匹 配 的 字符 串 是 一 个 整 型 字面 量 ， 则 对 应 于 左 起 第 3 个 左 括号 , 第 2 个 和 第 4 个 
左 括号 与 nau11 对 应 。 类 似 地 ， 如 果 匹 配 的 字符 串 是 一 个 字符 串 字 面 量 ， 则 对 应 于 左 起 第 4 个 左 
括号 ,第 2 个 和 第 3 个 左 括号 对 应 nul1。 如 果 匹 配 的 字符 串 是 标识 符 ， 它 将 与 第 1 个 左 括号 对 
应 ， 除 此 之 外 的 左 括号 都 与 pull 对 应 。 

只 要 像 这 样 检查 一 下 哪 一 个 括号 对 应 的 不 是 null， 就 能 知道 行 首 出 现 的 是 哪 种 类 型 的 单词 。 
之 后 再 继续 用 正则 表达 式 匹配 剩余 部 分 ， 就 能 得 到 下 一 个 单词 。 不 断 重 复 该 过 程 ， 词 法 分 析 器 就 
能 获得 由 源 代 码 分 割 而 得 的 所 有 单词 。 





















































ín 这 么 依赖 正则 表达 式 ， 会 不 会 导致 执行 速度 变 慢 呢 ? | 
B 手动 设计 匹配 逻辑 也 是 一 样 的 ， 并 不 会 有 什么 区 另 
EH B, 而 且 库 中 的 实现 经 过 了 大 量 优 化 ， 肯 定 比 自己 手动 设计 性 能 更 好 嘛 。 
B 与 完全 手写 的 词法 分 析 逻 辑 相 比 ， 至 少 错误 会 少 很 多 。 
| 是 吗 ? 只 要 字符 串 字 面 量 的 正则 表达 式 没 什么 问题 的 话 ， 这 么 说 也 没 错 吧 。 J 


























































































































代码 清单 3.3 与 代码 清单 3.4 是 一 个 实际 的 词法 分 析 程 序 。Lexer 类 就 是 一 个 词法 分 析 
器 。Lexer 对 象 的 构造 函数 接收 一 个 java .io.Reader 对 象 ， 它 能 根据 需要 逐 行 读 取 源 代码 ， 
供 执 行 词法 分 析 。 

正则 表达 式 保 存 于 regexPat 字段 。Java 语言 的 字符 串 字面 量 中 ， 反 和 斜 杠 与 双 引 号 必须 分 
别 以 \\ 与 \" 的 形式 转 义 。 因 此 ， 字 符 串 中 将 包含 大 量 的 反 斜 杠 。 

read 与 peek 是 Lexer 中 主要 的 两 个 方法 。read 方法 可 以 从 源 代 码头 部 开始 逐一 获取 单 
词 。 调 用 read 时 将 返回 一 个 新 的 单词 。 

peek 方法 则 用 于 预 读 。peek (1) 将 返回 reaa 方法 即将 返回 的 单词 之 后 的 第 i 个 单词 。 如 
果 参 数 i 为 0, 则 返回 与 reaa 方法 相同 的 结果 。 通 过 peek 方法 , 词法 分 析 器 就 能 事先 知道 在 调 
用 read 方 法 时 将 会 获得 什么 单词 。 例 如 ，peek (1) 所 返回 的 单词 与 调用 read 方法 两 次 后 返 
回 的 单词 相同 。 

如 果 所 有 单词 都 已 读 取 ，read 方法 和 peek 方法 都 将 返回 Token .EOF。 这 是 一 个 特殊 
的 Token 对 象 ， 用 于 表示 程序 结 




































































(a Lexer 中 不 使 用 Iterator 吗 ? ) 
回 用 next 5 hasNext 方法 来 替代 read 也 不 错 吧 。 
O 考虑 到 Lexer 实际 的 使 用 方式 ， 返 回 一 个 Token .EOF 更 加 方便 。 不 过 如 果 能 有 hasNext 也 


L 可 以 。 

在 词法 分 析 后 需要 执行 的 是 语法 分 析 。 对 语法 分 析 阶 段 的 抽象 语法 树 构 造 来 说 ，peek 方法 
必 不 可 少 。 语法 分 析 阶 段 将 一 边 获取 单词 一 边 构 造 抽象 语法 树 ， 在 中 途 发 现 构 造 有 误 时 ， 需 要 退 
回 若干 个 单词 ， 重 新 构造 语法 树 ， 这 称 为 回 湖 。 为 了 支持 回 斋 ， 语 言 处 理 需 必须 能 够 取消 之 前 的 
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几 次 reaG 方法 调用 ,并 还 原先 前 的 结果 。 不 过 ， 如 有 果 要 在 实现 Lexer 类 时 解决 这 一 问题 ， 执 
行 效率 会 受到 影响 ， 因 此 这 里 准备 了 peek 方法 。 

peek 方法 可 以 事先 获知 之 后 将 会 取得 的 单词 ， 以 此 避免 撤销 抽象 语法 树 的 构造 。 也 就 是 
说 ， 当 遇 到 分 支 路 线 时 ,不 是 先 随意 选取 一 条 ， 在 行 不 通 时 再 原 路 返回 改 走 男 一 条 ， 而 是 先 费 
盔 周 折 ， 判 断 前 路 是 否 正确 ， 在 确信 没有 问题 时 才 真 正 继续 。 

















































































































































































































[ 四 只 要 使 用 peek 方法 就 能 自由 读 取 之 后 的 单词 ， 那 还 有 必要 使 用 read 方法 吗 ? | 
加 这 关系 到 内 存 的 占用 量 。read 方法 返回 的 单词 不 必 一 直 保留 ， 而 peek 方法 必须 保存 所 有 和 返 
L 回 的 单词 ， 内 存 消耗 更 大 。 p 











要 使 用 peek 方法 ， 词 法 分 析 需 需要 在 读 取代 码 并 获取 单词 后 ， 将 这 些 单词 暂时 保存 在 一 
个 名 为 queue H ArrayList 对 象 中 。 之 后 ，peek 与 read 方法 会 根据 需要 从 中 取 值 并 返回 。 
由 read 方法 读 取 的 单词 会 从 queue 中 删除 。 

readLine 方 法 是 实际 从 每 一 行 中 读 取 单词 的 方法 。 由 于 正则 表达 式 已 经 事先 编译 
H Pattern 对 象 ， 因 此 能 调用 matcher 方法 来 获得 一 个 用 于 实际 检查 匹配 的 Matcher 对 象 。 
词法 分 析 器 一 边 通过 region 方法 限定 该 对 象 检查 匹配 的 范围 ， 一 边 通 过 lookingAt 方法 在 
检查 范围 内 进行 正则 表达 式 匹 配 。 之 后 ， 词 法 分 析 需 将 使 用 group 方法 来 获取 与 各 个 括号 对 应 
的 子 字 符 串 。end 方法 用 于 取得 匹配 部 分 的 结束 位 置 ， 词 法 分 析 器 将 从 那里 开始 继续 执行 下 一 
次 lookingAt 方法 调用 ， 直 至 该 代码 行 中 不 再 含有 单词 。 

代码 清单 3.3 最 后 的 NumToken .IdToken 与 StrToken 类 是 Token 类 的 子 类 。 它 们 分 别 对 
应 不 同类 型 的 单词 。 
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[ 加 readLine 5 addToken 是 词法 分 析 的 核心 部 分 ， 其 他 都 只 是 起 辅助 作用 ， 因 此 词法 分 析 还 j 
是 比较 简单 的 。 
回 我 还 以 为 您 肯定 会 用 工具 来 定义 单词 并 自动 生成 词法 分 析 器 呢 。 
I 的 确 有 JFlex ( http://jflex.de ) 之 类 的 工具 。 
B 如 果 要 设计 一 个 真正 的 语言 处 理 器 ， 最 好 是 使 用 一 些 合适 的 工具 。 不 过 Stone 语言 非常 简 
人。 单 ， 所 以 没 这 个 必要 。 


























































































































WEEER] 词法 分 析 器 Lexer.java 


package stone; 





import java.io.IOException; 
import java.io.LineNumberReader; 
import java.io.Reader; 

import java.util.ArrayList; 
import java.util.regex.Matcher; 
import java.util.regex.Pattern; 


public class Lexer { 
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public static String regexPat 
= "\\s*#((//.*) EE89] ey NT ONNNNN I NNNNNNSNTNSA NE^ S0] pem) m 
+ "[[A-Z a-z] [A-Z a-zo-9]*|--2|«-|»2|&&| NJ NN | | Np(Punct])) ?"; 
private Pattern pattern = Pattern.compile (regexPat); 
private ArrayList«Token» queue = new ArrayList«Token»(); 
private boolean hasMore; 
private LineNumberReader reader; 


public Lexer(Reader r) ( 
hasMore - true; 
reader = new LineNumberReader (r); 
} 
public Token read() throws ParseException [ 
if (fillQueue(0)) 
return queue.remove (0); 
else 
return Token.EOF; 
} 
public Token peek (int i) throws ParseException { 
if (fillQueue(i)) 
return queue.get(i); 
else 
return Token.EOF; 
} 
private boolean fillQueue(int i) throws ParseException { 
while (i »- queue.size()) 
if (hasMore) 
readLine(); 
else 
return false; 
return true; 
} 
protected void readLine() throws ParseException { 
String line; 
try { 
line = reader.readLine(); 
) catch (IOException e) { 
throw new ParseException(e); 
} 


if (line == null) ( 
hasMore - false; 
return; 


) 


int lineNo - reader.getLineNumber(); 
Matcher matcher = pattern.matcher (line); 
matcher.useTransparentBounds (true).useAnchoringBounds (false); 
int pos - O0; 
int endPos = line.length(); 
while (pos « endPos) ( 
matcher.region(pos, endPos); 
if (matcher.lookingAt()) ( 
addToken(lineNo, matcher); 
pos = matcher.end(); 


) 


else 
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throw new ParseException("bad token at line " + lineNo); 


) 


queue.add(new IdToken(lineNo, Token.EOL)); 


) 


protected void addToken(int lineNo, Matcher matcher) ( 
String m - matcher.group(1); 


if (m !- null) // if not a space 
if (matcher.group(2) -- null) ( // if not a comment 
Token token; 
if (matcher.group(3) !- null) 
token - new NumToken(lineNo, Integer.parseInt (m)); 
else if (matcher.group(4) !- null) 
token - new StrToken(lineNo, toStringLiteral (m)); 





else 
token - new IdToken(lineNo, m); 


queue .add (token); 


) 


protected String toStringLiteral(String s) ( 
StringBuilder sb - new StringBuilder(); 


int len - s.length() - 1; 
for (int i = 1; i < len; i++) { 
char c = s.charAt(i); 
if (c == '\\' && i + 1 < len) { 
int c2 = s.charAt(i + 1); 
if (c2 =s mr || ez-s& my] 
c = s.charAt (++i); 
else if (c2 == 'n') { 
++i 
Q 2 !Mn' 


) 


sb.append (c); 


) 


return sb.toString(); 


) 


protected static class NumToken extends Token { 
private int value; 


protected NumToken(int line, int v) ( 
super (line); 
value - v; 


) 


public boolean isNumber() { return true; } 
public String getText() { return Integer.toString(value); } 
public int getNumber() ( return value; } 


) 


protected static class IdToken extends Token ( 
private String text; 
protected IdToken(int line, String id) ( 
super (line); 
text - id; 


) 


public boolean isIdentifier() ( return true; } 
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public String getText() { return text; } 


) 


protected static class StrToken extends Token { 
private String literal; 
StrToken(int line, String str) { 
super (line); 
literal = str; 
} 
public boolean isString() { return true; } 
public String getText() ( return literal; ] 





cnm == ParseException.java 


package stone; 





import java.io.IOException; 


public class ParseException extends Exception [ 
public ParseException(Token t) ( 
ehis (Ut spy 
public ParseException (String msg, Token t) { 
super ("syntax error around " + location(t) + ". " + msg); 
private static String location(Token t) ( 
if (t == Token.EOF) 
return "the last line"; 
else 
return "\"" + t.getText() + "N" at line " + t.getLineNumber(); 
public ParseException(IOException e) ( 
super (e); 
public ParseException(String msg) { 
super (msg) ; 


) 





本 DD、 词 法 分 析 器 试 运行 

本 章 的 最 后 将 尝试 运行 由 代码 清单 3.3 的 Lexer 类 实现 的 词法 分 析 器 。 相 应 的 main 方 
法 如 代码 清单 3.5 所 示 。 它 将 对 输入 的 字符 串 做 词法 分 析 ， 并 逐 行 显示 分 析 得 到 的 每 一 个 单词 
(图 3.1 )。 

代码 清单 3.6 中 的 codeDialog 对 象 是 Lexer 类 的 构造 函数 中 的 参数 。coadeDialog 是 java. 
io.Reader 的 子 类 。Lexet 在 调用 read 方法 从 该 对 象 中 读 取 字符 时 ， 界 面 上 将 显示 一 个 对 话 
框 ， 用户 输 入 的 文本 将 成 为 read 方法 的 返回 值 。 如 果 上 一 次 显示 对 话 框 时 输入 的 文本 没有 被 市 
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除 ， 这 些 文本 将 首先 被 返回 。 用 户 点 击 对 话 框 的 取消 按钮 后 ， 输 入 结束 。 









































































000 Java - Eclipse - /Users/chiba/workspace (=) | 
]ri-i &]& EAE a E TEA [9e ig mie 富 " Ej CVS Reposit.. > 
m Lexerjava 4 =p zi 
aias — 0 i 
Ez 
while i < 10( EI 
sum = sum +i o 
i=i+1 & 
} AAV AAAA [72V 
sum| |*=- l<el >= I&& INN INST INNp(Punct])?"; k 
rn. compi Le(regexPat) ; 
[= new ArrayList<Token>(); | 
t 
x [5x AE et Braa 
ljava (2010/12/08 3:11:25) 
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执行 LexerRunner 


ANE LexerRunner.java 





package chap3; 
import stone.*; 


public class LexerRunner ( 
public static void main(String[] args) throws ParseException { 
Lexer 1 new Lexer(new CodeDialog()); 
for (Token t; (t l.read()) != Token.EOF; ) 
System.out.println("-» " + t.getText()); 





MENEJ CodeDialog.java 





package stone; 


import 
import 
import 
import 
import 
import 
import 
import 
import 


public 


java. 
java. 
java. 
java. 
java. 
javax 


javax. 
javax. 
javax. 


class 


io.FileReader; 
io.BufferedReader; 
io.FileNotFoundException; 
io.IOException; 
io.Reader; 
.Swing.JFileChooser; 
swing.JOptionPane; 
swing.JScrollPane; 
swing.JTextArea; 


CodeDialog extends Reader { 


private String buffer null; 
private int pos - 0; 


public int read(char[] cbuf, int off, int len) throws IOException { 
if (buffer null) ( 
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String in = showDialog(); 


if (in == null) 
return -1; 
else { 
print (in); 
buffer = in + "Xn"; 
pos = 0; 
} 
} 
int size = 0; 


int length = buffer.length(); 
while (pos < length && size < len) 
cbuf [off + size++] = buffer.charAt (pos++); 


if (pos == length) 
buffer = null; 


return size; 
} 
protected void print (String s) ( System.out.println(s); } 
public void close() throws IOException {} 
protected String showDialog() { 
JTextArea area = new JTextArea (20, 40); 
JScrollPane pane = new JScrollPane (area); 


int result = JOptionPane.showOptionDialog(null, pane, "Input", 
JOptionPane.OK CANCEL OPTION, 


JOptionPane.PLAIN MESSAGE, 
null, null, null); 
if (result -- JOptionPane.OK OPTION) 
return area.getText(); 
else 
return null; 
} 
public static Reader file() throws FileNotFoundException ( 
JFileChooser chooser - new JFileChooser(); 
if (chooser.showOpenDialog(null) -- JFileChooser.APPROVE OPTION) 
return new BufferedReader(new FileReader(chooser.getSelectedFile())); 
else 
throw new FileNotFoundException("no file specified"); 
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4 用 于 表示 程序 的 对 象 


语言 处 理 絮 在 词法 分 析 阶 段 将 程序 分 割 为 单词 后 ， 将 开始 构造 抽象 语法 树 。 抽 象 语法 树 
(AST, Abstract Syntax Tree ) 是 一 种 用 于 表示 程序 结构 的 树 形 结构 。 构 造 抽象 语法 树 的 过 程 称 为 
语法 分 析 ， 依 然 属于 语言 处 理 器 的 前 半 阶 段 。 经 过 词法 分 析 后 ， 程 序 已 经 被 分 解 为 一 个 个 单词 。 
语法 分 析 的 主要 任务 是 分 析 单 词 之 间 的 关系 ， 如 判断 哪些 单词 属于 同一 个 表达 式 或 语句 ， 以 及 处 
理 左 右 括 号 (单词 ) 的 配对 等 问题 。 语 法 分 析 的 结果 能 够 通过 抽象 语法 树 来 表示 。 这 一 阶段 还 会 
检查 程序 中 是 否 含有 语法 错误 。 
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| E 树 形 结构 | | 
贺 这 是 算法 与 数据 结构 课程 必 讲 的 内 容 呢 。 
n 我 当时 差点 因为 这 个 留级 …… | 


















































用 树 形 结构 来 表现 语法 分 析 的 结果 可 能 有 些 难以 理解 ， 不 过 从 面向 对 象 的 角度 来 看 ， 这 人 句 话 
的 含义 即 通过 对 象 来 表示 程序 中 的 语句 与 表达 式 ， 还 是 比较 简单 明了 的 。 
接 下 来 我 们 试 着 用 抽象 语法 树 来 表示 下 面 的 Stone 语言 程序 。 
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只 要 将 这 个 程序 理解 为 算式 13 + x * 2, H135 (x * 2) 的 和 即 可 。 网 4.1 是 它 的 对 象 
形式 表示 ， 是 一 棵 抽象 语法 树 。 

图 4.1 上 方 的 单词 ( Token 对 象 ) 序列 是 词法 分 析 阶 段 得 到 的 结果 。 通 过 语法 分 析 ， 就 能 得 
到 如 图 所 示 的 由 对 象形 式 表 现 的 树 形 结构 。 图 中 的 矩形 表示 对 象 。 和 矩形 上 半 部 分 显示 的 是 类 名 。 
箭头 表示 的 是 字段 ,第 头 旁 边 显示 的 文字 是 字段 名 。 和 矩形 下 半 部 分 列 出 的 也 是 字段 。 

BinaryExpr 对 象 用 于 表示 双 目 运算 表达 式 。 双 目 运算 指 的 是 四 则 运算 等 一 些 通 过 左 值 和 
右 值 计 算 新 值 的 运算 。 

图 中 含有 两 个 BinaryExpr 对 象 ， 其 中 一 个 用 于 表示 乘法 运算 x * 2， 另 一 个 用 于 表示 加 
法 运算 13 加 x * 2。 加 法 运算 的 左 侧 是 整 型 字面 量 13, 它 是 一 个 NumberLiteral 对 象 。 右 侧 
是 x * 2, 它 是 男 一 个 BinaryExpr 对 象 。 这 样 通过 对 象 来 表示 运算 符 的 左 值 与 右 值 的 方式 能 
一 目 了 然 地 显示 各 自 表示 的 内 容 。 

表达 式 x * 2 左 侧 的 x 是 一 个 变量 名 ， 因 此 能 用 Name 对 象 来 表示 。 右 侧 的 2 是 一 个 整 型 
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字面 量 ， 因 此 以 NumberLiteral 对 象 表示 。 



























































| B 拿 这 个 例子 来 讲 ， 语 法 分 析 阶 段 将 会 检查 加 法 的 右 侧 是 x 还 是 x * 2 对 吧 。 因 此 , 图 4.1 准 | 
确 地 表现 了 语法 分 析 的 结果 。 
不 过 ， 把 这 个 称 为 树 形 结构 ， 是 不 是 有 些 把 问题 搞 复杂 了 ? 树 根 在 上 树叶 在 下 什么 的 ， 很 奇 





























































































































| 怪 不 是 吗 ? | 
单词 序列 13 )( * JUL x JU )(02 ] 
抽象 语法 树 : BinaryExpr 
operator = + 
left LA N right 
: NumberLiteral : BinaryExpr 
value = 13 operator = * 
left Td ^u right 
: Name : NumberLiteral 
name = X value = 2 




















13 +X* 2 的 对 象形 式 表现 ( 树 形 结 构 ) 





图 4.1 形 如 一 棵 上 下 颠倒 的 树 ， 因 此 这 种 数据 结构 通常 被 称 为 树 形 结构 。 图 中 的 抢 形 
(对 象 ) 称 为 节点 (node )， 箭 头 称 为 树枝 或 边 。 图 的 上 方 的 BinazyExpr 对 象 称 为 根 节点 。 
NumberLiteral 对 象 及 Name 对 象 这 类 不 含 树 校 的 节点 被 称 为 叶 节 点 。 如 果 一 个 节点 含有 若干 
树枝 ,树枝 连接 的 节点 就 是 该 节点 的 子 节点 ， 它 们 与 该 节点 组 成 的 整体 称 为 子 树 。 















































: BinaryExpr 
operator = + 
left= : NumberLiteral 
value = 13 
right = : BinaryExpr 
operator = * 
left : Name 
name - x 
right = : NumberLiteral 
value - 2 





























EPA ”用 于 表现 13 + x* 2 的 对 象 ( 本 图 着 重 表现 了 对 象 之 间 的 包含 关系 ) 
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不 过 ， 像 图 4.1 这 样 ， 有 的 字段 通过 箭头 表示 ， 有 的 字段 通过 对 象 算 形 中 的 属性 表示 ， 有 时 
可 能 会 难以 理解 。 字 段 是 一 种 属性 ， 因 此 可 以 像 图 4.2 那样 改写 图 4.1， 将 所 有 的 字段 都 写 在 矩 
形 中 。 这 样 一 来 ， 各 个 对 象 与 字段 的 关系 将 更 加 清晰 ， 用 于 表示 x * 2 的 BinaryExpr 对 象 
明显 包含 于 用 于 表示 加 法 的 BinaryExpr 对 象 中 ， 是 其 right 字段 的 值 。 这 两 种 方式 仅仅 是 书 
写 上 有 区 别 ， 表 达 的 含义 并 无 不 同 。 

至 此 ， 我 们 已 经 以 


I3 ECC ND 

















为 例 ， 讨 论 了 如 何 通 过 树 形 结构 来 表现 代码 结构 。 

本 书 使 用 Java 语言 来 实现 语言 处 理 右 ， 因 此 选择 通过 对 象 与 树 形 结构 来 表示 程序 结构 。 如 
果 用 于 实现 的 不 是 面 回 对 象 语言 ， 表 示 树 形 结构 的 方法 也 会 有 所 不 同 。 如 果 是 C 语言 ， 则 会 使 
用 结构 体 ; 如 果 是 Scheme 语言 ， 则 会 使 用 列表 。 

因此 ， 在 很 多 教材 中 ， 抽 象 语法 树 会 用 更 加 简洁 的 形式 表示 ， 如 图 4.3 所 示 ， 树 形 结构 通过 
箭头 呈现 。 这 种 表示 树 形 结构 的 方式 没有 限定 具体 的 实现 方式 。 事 实 上 ， 虽 然 本 书 使 用 了 对 象 来 
构造 抽象 语法 树 ， 但 具体 如 何 设计 相关 的 类 ， 也 有 多 种 不 同 的 做 法 。 


”~ 
pd ~ 


13 + X* 2 的 抽象 语法 树 












































抽象 语法 树 仅 用 于 表示 语法 分 析 的 结果 ， 因 此 通过 词法 分 析 得 到 的 单词 并 不 一 定 要 与 抽象 语 
法 树 的 节点 一 一 对 应 。 抽 象 语法 树 是 一 种 去 除了 多 余 信 息 的 抽象 树 形 结构 。 例 如 ， 拿 


BN SOME ur 


























这 样 一 个 表达 式 来 说 ， 它 与 之 前 的 例子 不 同 ,包含 了 括号 。 乘 法 运算 的 左 值 不 青 是 x 而 是 13 + x. 
般 来 讲 ， 这 段 程序 的 抽象 语法 树 如 图 4.4 所 示 。 叶 节点 和 中 间 的 节点 都 不 含 括号 。 
13 + x 是 乘法 的 左 值 ， 必 须 在 做 乘法 计算 之 前 算 好 。 即 使 图 4.4 的 抽象 语法 树 中 不 含 括号 ， 
这 一 信息 也 得 到 了 明确 的 表达 。 因 此 ， 程 序 中 的 括号 等 信息 不 必 出 现在 抽象 语法 树 中 。 除 了 括 
， 句 尾 的 分 号 等 无 关 紧 要 的 单词 通常 也 不 会 出 现在 抽象 语法 树 中 。 
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表示 程序 的 对 象 


ZW 


BEER (13 + X) 





B 抽象 化 原本 指 的 就 是 去 除 多 余 的 内 容 ， 抽 取出 如 


* 2 的 抽象 语法 树 ( 抽象 语法 树 中 不 含 括 号 ) 

















区 区 NAN 设计 节点 类 
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有 物 的 本 质 。 











是 ASTree 的 子 类 。 





图 4.5 是 本 书 使 用 的 抽象 语法 树 的 节点 类 。 
该 点 之 后 还 会 进一步 详 述 。ASTLeaf 类 和 ASTList 


子 类 。ASTLeaf 是 叶 节 点 (不 含 树 校 的 节点 ) 的 父 
其 他 的 类 都 是 AsTList 或 ASTLeaf 类 的 子 类 。 

NumberLiteral 5 Name 类 用 于 表示 叶 节 点 ，BinaxyExpr 类 用 于 表示 含有 树枝 的 节点 ， 
它们 分 别 是 上 述 两 个 类 的 子 类 




















为 保持 程序 简洁 ， 抽 象 语法 树 所 有 的 节点 类 都 
类 是 ASTree 的 直接 


42$, ASTList 是 含有 树枝 的 节点 对 象 的 父 类 





m 把 ASTree 改名 为 ASTNode 应 该 


合适 一 些 0 


E? 











B 你 之 所 以 这 么 说 ，; 
































是 因为 它 是 节点 对 象 的 类 而 不 是 树 这 种 对 象 的 类 对 吧 ? 
也 不 是 说 不 能 





ASTree 对 象 来 表示 树 …… 


\ 
J 





















































b B 嗯 ……ASTree 更 加 简短 不 是 吗 ， 而 且 
ASTree 一 
child(int) 
children() 
ASTLeaf ASTList 
child(int) child(int) 
children() children() 
NumberLiteral Name BinaryExpr 























抽象 语法 树 的 节点 类 
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ASTree 类 的 主要 方法 














































































































ASTree child(int i) 返回 第 i 个 子 节点 
int numChildren() 返回 子 节 点 的 个 数 ( 如 果 没有 子 节点 则 返回 0 ) 
Iterator<ASTree> childre 返回 一 个 用 于 遍历 子 节点 的 iterator 
F] 比 起 命名 问题 ， ASTree 应 该 抽象 为 接 这 不 是 常 中 识 嘛 ! j 




















回 F 君 ， 这 话 有 点 夸张 了 ， 这 哪 算 什么 常识 呀 。 
回 如 果 深 究 起 抽象 语法 树 的 类 的 设计 ， 那 可 就 没有 止境 了 ， 不 过 这 的 确 也 是 个 人 水 平 高 下 立 见 
N 之 处 。 | 


只 要 抽象 语法 树 的 节点 不 是 叶 节 点 ， 它 就 含有 若干 个 树 校 ， 并 与 其 他 节点 相连 。 这 些 与 树枝 

另 一 端 相连 的 节点 称 为 子 节点 ( child )。 如 表 4.1 所 示 ，ASTree 类 含有 多 个 用 于 访问 这 些 子 节点 
对 象 的 方法 。 

表 4.1 列 出 了 几 个 与 子 节点 相关 的 方法 。chilg 方 法 用 于 返回 第 i 个 子 节点 。numChildren 方 
法 用 于 返回 子 节 点 的 个 数 ，children 方法 则 会 返回 一 个 Iterator 对 象 ， 用 于 依次 遍历 所 有 
子 节点 。 代 码 清单 41、 代 码 清单 4.2 与 代码 清单 4.3 是 它们 的 具体 定义 。 

此 外 ，ASTree 类 还 含有 location 方法 与 iterator 方法 。location 方法 将 返回 一 个 
用 于 表示 抽象 语法 树 节 点 在 程序 内 所 处 位 置 的 字符 串 。iterator 方法 与 children 方法 功能 
相同 ， 它 是 一 个 适配器 ， 在 将 ASTree 类 转 为 Iterable 类 型 时 将 会 用 到 该 方法 。 

















































































































| 四 子 节点 可 以 不 止 两 个 吧 ? j 
Hi 子 节点 至 多 只 能 有 两 个 的 树 被 称 为 二 叉 树 ( binary tree )。 
【加 嗯 ，A 君 ， 怎 么 说 呢 ， 二 又 树 也 能 作为 抽象 语法 树 ， 不 过 这 次 老师 没有 做 这 样 的 限定 。 | 























表 4.1 的 方法 其 实 是 一 些 抽象 方法 。 子 类 ASTLeaf 5 AsTList 将 分 别 覆 盖 这 些 方法 ， 进 行 
具体 的 实现 。 

ASTLeaf 是 叶 节 点 对 象 的 类 ， 叶 节点 对 象 没有 子 节 点 ， 因 此 numChildren 方法 将 始终 返 
ELO, children 方法 将 返回 一 个 与 空 集合 关联 的 Iterator 对 象 。 

ASTList 是 非 叶 节点 对 象 的 类 ， 可 能 含有 多 个 子 市 点 ( 即 ASTree 对 象 )。RASTList 类 
含有 一 个 children 字段 ,， 它 是 一 种 ArrayList 对 象 ， 用 于 保存 子 节点 的 集合 。 图 4.5 中 
从 ASTList 指向 ASTree 的 名 为 children 的 箭头 就 代表 这 个 children 字段 。 























(a ArrayList 对 象 的 元 素 类 型 是 ASTree 而 不 是 ASTList R, | 
Dl 因为 不 知道 子 节点 是 AsTLeaf 对 象 还 是 ASTList 对 象 是 吧 ? 
O 正 是 如 此 。ASTree 类 型 的 话 ， 就 无 所 谓 是 哪 种 了 。 

| Dl 总 之 这 里 用 了 composite 模式 。 这 样 说 没 问题 吧 ? J 
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抽象 语法 树 的 叶 节 点 不 含 子 节点 ， 因 此 AsTLeaf 类 没有 children FR, DEEE 
F token 字段 。 本 书 规定 抽象 语法 树 的 叶 节 点 必须 与 对 应 的 单词 关联 。token 字段 保存 了 对 应 
的 Token 对 象 。 

在 图 4.1 与 图 4.2 中 ,NumberLiteral 和 Name 类 具有 名 为 value 及 name 的 字段 。 然 而 如 
图 4.4 与 图 4.5 所 示 ， 在 实际 实现 时 ， 这 些 字段 并 非 由 各 个 类 直接 定义 ， 而 是 通过 ASTLeaf 类 
的 token 字段 完成 这 一 工作 。 例 如 ，NumberLiteral 含有 一 个 表示 与 之 对 应 的 整 型 字面 
量 的 单词 ， 这 个 Token 对 象 实际 由 ASTLeaf 类 的 token 字段 保存 。NumberLiteral 类 
的 value 方法 将 从 这 个 token 字段 中 取得 该 整 型 字面 量 并 返回 。Name 类 的 实现 方式 也 类 似 。 
根据 图 4.1 与 图 42，BinaryExpr 类 同样 也 有 left 和 tright 这 两 个 字段 ， 不 过 在 实 
际 实现 时 ， 这 两 个 字段 并 不 直接 在 BinaryExpr 类 中 定义 ， 而 是 通过 其 父 类 AsTList 类 
的 children 字段 定义 。 如 代码 清单 4.6 PTR, BinaryExpr 类 不 含 left 及 right 字段 , 而 是 
提供 了 left 5j right 方法 。 这 些 方法 能 够 分 别 从 children 字段 保存 的 ASTree 对 象 中 选取 ， 
并 返回 对 应 的 左 子 节 点 与 右 子 节点 。 

BinaryExpr 类 也 没有 图 4.1 与 图 4.2 中 出 现 的 用 于 保存 运算 符 的 operator 字段 。 运 
算 符 本 身 是 独立 的 节点 (ASTLeaf 对 象 )， 作 为 BinaryExpr 对 象 的 子 节点 存在 。 也 就 是 
W, BinaryExpr 对 象 含有 左 值 、 右 值 及 运算 符 这 三 种 子 节 点 。 昌 人 然 BinaryExpr 类 没 
有 operator 字段 ， 却 提供 了 operator 方法 。 该 方法 将 从 与 运算 符 对 应 的 ASTLeaf 对 象 中 
获取 单词 ， 并 返回 其 中 的 字符 串 。 


EE 和 ASTree.java 


package stone.ast; 
import java.util.Iterator; 















































public abstract class ASTree implements Iterable«-ASTree» { 
public abstract ASTree child(int i); 
public abstract int numChildren(); 
public abstract Iterator«ASTree» children(); 
public abstract String location(); 
public Iterator«ASTree» iterator() ( return children(); } 





XH] ASTLeafjava 


package stone.ast; 
import java.util.Iterator; 
import java.util.ArrayList; 
import stone.Token; 


public class ASTLeaf extends ASTree ( 
private static ArrayList«ASTree» empty = new ArrayList«ASTree-»(); 
protected Token token; 
public ASTLeaf (Token t) { token = t; ] 
public ASTree child(int i) { throw new IndexOutOfBoundsException(); } 
public int numChildren() ( return 0; } 
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public Iterator«ASTree» children() { return empty.iterator(); } 

public String toString() ( return token.getText(); ] 

public String location() ( return "at line " + token.getLineNumber(); } 
public Token token() { return token; } 





SEXE] ASIListjava 


package stone.ast; 





import java.util.List; 
import java.util.Iterator; 


public class ASTList extends ASTree { 
protected List«ASTree» children; 
public ASTList(List«ASTree» list) { children = list; } 
public ASTree child(int i) ( return children.get(i); } 
public int numChildren() ( return children.size(); ] 
public Iterator«ASTree» children() { return children.iterator(); } 
public String toString() { 
StringBuilder builder - new StringBuilder(); 
builder.append('('); 
String sep = ""; 
for (ASTree t: children) ( 
builder.append (sep); 
sep = " "; 
builder.append(t.toString()); 








) 


return builder.append(')').toString(); 
) 
public String location() { 
for (ASTree t: children) ( 
String s = t.location(); 
if (s !- null) 
return S; 


) 


return null; 





RAEL] NumberLiteral.java 


package stone.ast; 





import stone.Token; 


public class NumberLiteral extends ASTLeaf ( 
public NumberLiteral(Token t) ( super(t); } 
public int value() { return token().getNumber(); ] 


加 Name.java 


package stone.ast; 





import stone.Token; 
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public class Name extends ASTLeaf { 
public Name (Token t) ( super(t); } 
public String name() ( return token().getText(); } 


) 





ME BinaryExpr.java 





package stone.ast; 
import java.util.List; 


public class BinaryExpr extends ASTList { 


public BinaryExpr(List«ASTree» c) { super(c); } 
public ASTree left() { return child(0); } 
public String operator() { 


return ((ASTLeaf)child(1)).token().getText(); 


) 


public ASTree right() ( return child(2); } 





EED evr 





EEEL 通过 BNF 来 表示 语法 的 例子 





factor: NUMBER | "(" expression ")" 
term: factor { ("*" | "/") factor } 
expression: term ( ("+" | "-") term } 





要 构造 抽象 语法 树 ， 语 言 处 理 需 首先 要 知道 将 会 接收 哪些 单词 序列 ( BI Sz Fi 


怎样 的 程 








序 )， 并 确定 希望 构造 出 怎样 的 抽象 语法 树 。 通 常 ， 这 些 设 定 由 程序 设计 语言 的 语法 决定 。 

语法 规定 了 单词 的 组 合 规则 ， 例 如 ， 双 目 运算 表达 式 应 该 由 哪些 单词 组 成 ， 或 是 ifE 语句 
应 该 具有 怎样 的 结构 等 。 而 程序 设计 语言 的 语法 通常 会 包含 诸如 if 语句 的 执行 方式 ， 或 通 
过 extends 继承 类 时 将 执行 哪些 处 理 等 规则 。 不 过 ， 这 里 讨论 的 语法 不 含 那些 程序 设计 语言 范 
畴 的 内 容 ， 仪 考虑 如 何 处 理 词法 分 析 融 传 来 的 单词 排列 。 本 划 讨 论 的 语法 仅 会 判断 语句 从 哪个 单 






































词 开始 ， 中 途 能 够 出 现 哪些 单词 ， 又 是 由 哪个 单词 结 
举例 来 讲 ， 我 们 来 看 一 下 一 条 仅 包含 整 型 字面 量 与 四 则 运算 的 表达 式 。 代 码 清音 






































4.7 采 用 了 


一 种 名 为 BNF (Backus-Naur Form， 巴 科斯 范式 ) 的 书写 方式 。 准 确 来 讲 ， 这 里 使 用 的 书写 方式 














更 接近 BNF 的 扩展 版 本 EBNF ( Extended BNFE， 扩 展 巴 科斯 范式 )。 























加 BNF 是 John Backus 为 表达 Algo 语言 的 语法 而 设计 的 ， 不 过 最 后 大 家 发 现 它 能 用 于 表达 语 | 


言 学 领域 中 的 Noam Chomsky 上 下 文 无 关 文法 。 
四 这 算是 自然 语言 与 计算 机 语言 的 际会 呢 。 


O 提 到 Backus， 就 是 他 在 IBM 开发 了 Fortran。 



































B 没 错 ， 是 这 样 …… 不 过 ， 这 已 经 和 主题 无 关 了 ， 就 此 打住 。 重 要 的 是 要 知道 BNF 与 上 下 文 无 


























L 关 文法 等 价 。 





图 灵 社 区 会 员 leezom(superjavaman.zhangli gmail.com) 专 享 尊重 版 权 


43 BNF | 39 


BNF 中 用 到 的 元 符号 





























{ pat } 模式 pat 至 少 重复 0 次 
[ pat ] 与 重复 出 现 0 次 或 1 次 的 模式 pat 匹配 
pati | pat2 5 pati 或 pat2 匹配 

() 将 括号 内 视 为 一 个 完整 的 模式 

















乍 一 看 ，BNF 与 正则 表达 式 区 别 很 大 , 但 两 者 的 思维 方式 类 似 。BNF 与 正则 表达 式 都 用 于 
表述 某 种 模式 ， 以 检查 序列 的 内 容 。 

在 BNF 的 表达 规则 中 ，: 左 侧 所 写 的 内 容 能 够 用 于 表示 与 在 : 右 侧 所 写 的 模式 相 匹配 的 单 
词 序 列 。 例 如 ， 代 码 清单 47 第 1 行 的 规则 中 ，factor (因子 ) 意 指 与 右 侧 模式 匹配 的 单词 序 
列 。: 左 侧 出 现 的 诸如 factor 这 样 的 符号 称 为 非 终结 符 或 元 变量 。 

与 非 终结 符 相 对 的 是 终结 符 ， 它 们 是 一 些 事先 规定 好 的 符号 ， 表 示 各 种 单词 。 在 代码 清单 
4.7 P, NUMBER 这 种 由 大 写字 母 组 成 的 名 称 ， 以 及 由 双 引 号 " 括 起 的 诸如 " C" 的 符号 就 是 终结 
fj. NUMBER 表示 任意 一 个 整 型 字面 量 单词 ，" (" 表示 一 个 内 容 为 左 括号 的 单词 。 

: 右 侧 的 模式 中 也 包含 了 若干 个 终结 符 或 非 终结 符 。 与 正则 表达 式 一 样 ， 模 式 中 也 能 使 用 表 
4.2 列 出 的 那些 特殊 符号 。 

例如 , 在 代码 清单 4.7 第 1 行 的 规则 中 ，factor 能 表示 NUMBER ( 1 个 整 型 字面 量 单词 ) 或 
由 左 括号 、expression (表达 式 ) 及 右 括号 依次 排列 而 成 的 单词 序列 。expression 是 一 个 非 
终结 符 ， 第 3 行 对 其 下 了 定义 。 因 此 ， 由 左 括号 、 与 expression [匹配 的 单词 序列 ， 及 右 插 号 
这 些 单词 组 成 的 单词 序列 能 与 factor 模式 匹配 。 

如 果 : 右 侧 的 模式 中 仅 含有 终结 符 ，BNF 与 正则 表达 式 没 有 什么 区 别 。 此 时 ， 两 者 唯一 的 
不 同 仅 在 于 具体 是 以 单词 为 单位 检查 匹配 还 是 以 字符 为 单位 检查 。 






















































































(B 严格 来 讲 ， 正 则 表达 式 中 字符 的 含义 由 具体 的 定义 而 定 ， 因 此 此 时 两 者 几乎 是 相同 的 。 J 








另 一 方面 ， 如 果 右 侧 含有 类 似 于 expression 这 样 的 非 终结 符 ， 与 该 部 分 匹配 的 单词 序列 
必须 与 另外 定义 的 expression 模式 匹配 。 非 终结 符 可 以 理解 为 常用 模式 的 别称 ， 在 定义 其 他 
模式 时 能 够 引用 这 些 非 终结 符 。 模 式 中 包含 非 终结 符 是 BNF 的 特征 之 一 。 

代码 清单 4.7 第 2 行 中 的 term (项 ) 表示 一 种 由 factor 与 运算 符 * 或 / 构成 的 序列 ， 其 
中 factor 至 少 出 现 一 次 ,运算 符 则 必须 夹 在 两 个 factor 之 间 。 由 于 {)} 括 起 来 的 模式 将 
至 少 重复 出 现 0 次 ， 因此， 第 2 行 的 规则 直译 过 来 就 是 : 与 模式 term 匹 配 的 内 容 ， 或 是 一 
个 与 factor 相 匹 配 的 单词 序列 ， 或 是 在 一 个 与 factor 相 匹 配 的 单词 序列 之 后 ， 由 运算 
符 * 或 / 以 及 factor 构成 的 组 合 再 重复 若干 次 得 到 的 序列 。 

第 3 行 的 规则 也 是 类 似 。expression 表示 一 种 由 term (对 term 对 应 的 单词 序列 ) 与 运 
算 符 + 或 - 构成 的 序列 ， 其 中 term 至 少 出 现 一 次 ,运算 符 则 必须 夹 在 两 个 term 之 间 。 结 合 所 
有 这 些 规则 ， 可 以 发 现 与 模式 expression 匹配 的 就 是 通常 的 四 则 运算 表达 式 ， 只 不 过 单词 的 
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排列 顺序 做 了 修改 。 也 就 是 说 ， 与 该 模式 匹配 的 单词 序列 就 是 一 个 expression。 反 之 ， 如 果 单 
词 序 列 与 模式 expression 不 匹配 ， 则 会 发 生 话 法 错误 syntax error ). 

一 旦 规则 中 包含 诸如 { } 这 样 的 特殊 符号 ， 规 则 就 会 变 得 难以 理解 。 因 此 ， 人 们 有 时 会 用 
图 4.6 那 种 铁路 图 而 不 是 BNF 来 表示 语法 规则 。 这 种 图 表 形 似 铁道 线路 图 ， 因 而 得 名 。 图 4.6 与 
代码 清单 4.7 表示 的 是 相同 的 语法 。 图 中 的 圆圈 表示 终结 符 ， 和 矩形 表示 非 终 结 符 。 箭 头 的 分 支 与 
合并 表示 模式 的 循环 出 现 或 “or” 的 含义 。 














































































































铁路 图 
m 不 过 ， 似 乎 BNF 中 的 : 本 应 写成 ::= UE. D 



































老师 ， 最 好 还 是 别 使 用 自 创 的 写法 吧 。 
园 非 终结 符 似乎 也 本 该 写成 -term> 这 样 。 
B 哎呀 ， 其 实 也 不 算 什 么 自 创 啦 。 

a: A 君 ，BNF 有 很 多 变种 ， 其 中 就 有 用 dH : : = 使 用 的 风格 。 J 































































































那么 ， 接 下 来 让 我 们 来 看 一 个 具体 的 例子 。 表 达 式 
IS ETATE 
在 经 过 词法 分 析 后 将 得 到 如 下 的 单词 序列 。 


NUMBER "+" NUMBER "*" NUMBER 


整个 单词 序列 与 代码 清单 4.7 中 的 模式 expression Eft, WKI 4.7 所 示 ， 该 单词 序列 的 
局 部 与 非 终 结 符 factor K term 的 模式 匹配 ， 整 个 序列 则 明显 与 模式 expression 匹配 。 整 
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型 字面 量 13 与 factor 匹配 的 同时 也 与 term 匹配 。 根 据 语法 规则 ， 单 独 的 整 型 字面 量 单词 


与 factor 匹配 ， 单 个 factor 又 能 与 tezm 匹配 。 











= 2 











13 一 4 
factor factor x factor 
term 十 term 
expression 


表达 式 与 模式 expression 匹配 


下 面 这 个 包含 括号 的 表达 式 也 能 与 模式 expression 匹配 。 


(13 + 4) 


wo 
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An 
HE 


根据 语法 规则 ， 括 号 中 的 13 + 4 与 模式 expression 匹配 ， 括 号 括 起 的 (13 + 4) 与 模 


X factor 匹配 。 因 此 ， 整 个 乘法 表达 式 与 模式 term 匹配 。 


匹配 。 














个 term 又 与 模式 expression 


代码 清单 4.7 F, expression, term 与 factor 是 范围 逐 层 缩 小 的 组 成 单位 ,不 过 需要 注 
意 的 是 ，factor 能 够 重新 回 到 ( 由 括号 括 起 的 ) expression。 这 种 具有 循环 结构 的 递归 定义 
也 是 BNF 的 一 个 特征 。 












































( [i 也 就 是 说 BNF 允许 出 现 括号 无 限 虑 套 的 模式 ， 而 正则 表达 式 里 是 不 支持 这 种 情况 的 。 
D] 如 果 要 设计 一 种 能 在 表达 式 中 使 用 括号 的 程序 设计 语言 ， 就 只 能 通过 BNF 来 定义 语法 了 。 





|c 递归 

































































定义 非常 强大 ， 无 需 {...} 也 能 表达 循环 的 含义 。 


那 是 怎样 做 到 的 ? 
E piw, expression 的 规则 也 能 写成 这 样 。 





expression : 


term | expression ("+" | "-") term 






































这 种 定义 与 代码 清单 4.7 的 本 质 是 相同 的 ， 但 没有 用 到 {...}。 
D 也 就 是 说 ，expression [XH term 构成 ,或 由 expression、 运 算 符 + 或 -， 以 及 term Ilf 
次 组 成 是 吗 ? 
B 反 过 来 考虑 会 更 好 。 首 先 ， 单 独 的 term 就 能 成 为 一 个 expression。 这 样 一 来 ， 根 据 规 








则 ， 
BI t 
递归 

















循环 。 




















term + term 也 是 一 个 expression, 之 后 再 接 上 多 少 个 + term 依然 是 expressiono 


erm + term + term 也 是 一 个 expression。 该 过 程 能 够 无 限 循环 下 去 ， 于 是 实现 了 














n s, 


A 





| B 递归 





FEH É 














Jo 








的 确 非 常 有 
































>H 











Ho 








此 最 初 的 BNF 其 实 并 不 支持 {...} 的 表述 ， 只 能 使 用 “| (XS 











J 
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EZB. 、 语 法 分 析 与 抽象 语法 树 


在 使 用 BNF 或 铁路 图 来 表示 语法 之 后 ， 就 能 借助 它们 进行 语法 分 析 ， 并 构造 抽象 语法 树 。 
语法 分 析 用 于 查找 与 模式 匹配 的 单词 序列 。 查 找 得 到 的 单词 序列 是 一 个 具有 特定 含义 的 单词 组 。 
分 组 后 的 单词 能 继续 与 其 他 单词 组 一 起 做 模式 匹配 ， 组 成 更 大 的 分 组 。 
通常 ， 抽 象 语法 树 用 于 表示 语法 分 析 的 13 * 4 y 2 





























结果 ， 因 此 需要 表现 出 这 些 分 组 之 间 的 包含 关 factor factor « factor 
系 。 图 4.8 是 根据 代码 清单 4.7 中 的 四 则 运算 tem + ————— tem 
规则 ,对 13 + 4 * 2 进行 语法 分 析 后 得 到 expression 





的 结果 (与 图 4.7 相同 )， 以 及 根据 该 结果 构造 
的 抽象 语法 树 。 图 的 左上 方 是 语法 分 析 的 结 


expression 








果 ， 右 下 方 是 构造 的 抽象 语法 树 ， 正 好 上 下 其 A term 
倒 。 抽象 语法 树 中 的 13 或 + 等 节点 表示 与 相应 E in factor 
单词 对 应 的 叶 节 点 。 可 以 看 到 ， 语 法 规则 中 出 RAE NM 


现 的 终结 符 都 是 抽象 语法 树 的 叶 节 点 。 非 终结 
符 term 与 factor 也 是 抽象 语法 树 的 节点 。 We 
抽象 语法 树 的 子 树 表示 的 是 语法 分 析 中 得 到 的 单词 组 。 子 树 是 更 大 的 树 中 的 一 部 分 。 例 
如 ， 与 非 终 结 符 tezm 模 式 匹配 的 分 组 能 够 构成 一 棵 子 树 ， 它 的 根 节 点 是 表示 非 终结 符 上 ezm， 
与 相应 单词 匹配 的 叶 节 点 都 是 其 子 节 点 。 右 侧 的 term 与 4、* 及 2 匹配 ， 它 们 是 以 term 为 根 
节点 的 子 树 的 叶 节 点 。4 与 2 同时 也 与 模式 factor 匹配 , 因此 term 5E 4, 2 之 间 插 入 了 一 个 表 
示 factor 的 节点 。 至 于 13, ČF term, factor 通过 一 条 直线 相连 , 也 是 一 棵 以 term 为 根 节 
点 、13 为 叶 节 点 的 符合 语法 规则 的 子 树 。 












































此 构造 出 的 抽象 语法 树 也 准确 反 ) 








2H 



































(a 语法 规则 中 已 经 隐 含 了 运算 符 + 与 * 之 间 的 优先 级 了 呢 。 
映 了 这 一 优先 级 。 
D 乘法 运算 符 * 是 term 的 一 部 分 ，+ 用 于 将 term 相 加 ， 于 是 * 的 优先 级 自然 要 高 于 + T. 
图 这 个 先 不管 ， 请 先 看 下 图 4.8。 
S 君 ， 你 发 现 什 么 了 ? 
BH 13 的 上 面 是 factor， 再 上 面 是 term， 这 一 般 不 会 省 略 的 吗 ? 
| B 这 个 问题 呆 ee 并 不 是 所 有 的 非 终结 符 都 必须 通过 节点 表示 。 不 过 这 些 细 枝 末节 就 先 不 管 7。 | 
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程序 以 简 为 美 


| | p 
程序 员 习 惯 于 将 一 | 


切 事物 化 繁 为 简 也 是 的 文件 的 格式 应 该 尽 


是 不 是 剪 太 短 
了 ? 不 ， 这 样 
正 合 适 ! 


XN. 
ira | 
| 可 能 简单 
I 
又 


来 了 
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3 设计 语法 分 析 器 








本 章 我 们 将 利用 上 一 竟 的 内 容 来 设计 语法 分 析 需 (parser )。 程 序 已 经 通过 词法 分 析 顺 分 解 为 
了 单词 序列 。 语 法 分 析 噩 的 任务 是 将 这 些 单词 序列 与 语法 规则 定义 的 模式 进行 匹配 ， 并 构造 抽象 
语法 树 。 























5.1 六 Stone 语言 的 语法 


首先 ， 我 们 借助 BNF 来 试 写 一 下 Stone 语言 的 语法 规则 。 具 体内 容 请 参见 代码 清单 5.1。 非 
终结 符 program 与 1 行 Stone 语言 程序 匹配 。 规 则 中 出 现 的 NUMBER .IDENTIEFIER STRING OP 
与 EOL 都 是 终结 符 ， 分 别 表示 整 型 字面 量 、 标 识 符 、 字 符 串 字面 量 、 双 目 运 算 符 与 换行 符 类 型 。 

非 终结 符 expr (expression 的 缩写 ) 用 于 表示 表达 式 。 需 要 注意 的 是 ， 代 码 清单 5.1 的 规则 
没有 考虑 运算 符 OP 之 间 的 优先 级 。 通 常 ， 语 法 规则 应 该 像 上 一 章 中 的 代码 清单 4.1( 四 则 运算 
语法 规则 ) 那样 ， 通 过 各 条 规则 区 分 优先 级 不 同 的 运算 符 ， 体 现 出 他 们 之 间 优 先 级 的 差异 。 然 
而 ，Stone 语言 将 采用 其 他 方式 来 处 理 运 算 优 先 级 ， 因 此 优先 关系 不 会 体现 在 语法 规则 中 。 

下 面 我 们 来 看 一 下 代码 清单 5.1 中 各 条 规则 的 含义 。 首 先 ， 非 终结 符 primary ( 基本 构成 元 
素 ) 用 于 表示 括号 括 起 的 表达 式 、 整 型 字面 量 、 标 识 符 ( 即 变量 名 ) 或 字符 串 字 面 量 。 这 些 是 最 
基本 的 表达 式 构成 元 素 。 非 终结 符 factor (因子 ) 或 表示 一 个 primary， 或 表示 primary 之 
前 再 添加 一 个 - 号 的 组 合 。expr (表达 式 ) 用 于 表示 两 个 £actor 之 间 夹 有 一 个 双 上 日 运算 符 
的 组 合 。block (代码 块 ) 指 的 是 由 他 括 起 来 的 statement (语句 ) 序列 ，statement 之 间 
需要 用 分 号 或 换行 符 ( EOL ) 分 隔 。 由 于 Stone 语言 支持 空 语句 ， 因 此 规则 中 的 statement 两 
侧 写 有 中 括号 []。 可 以 看 到 ， 它 的 结构 大 致 与 expr 类 似 。 它 们 都 由 其 他 的 非 终 结 符 
(statement 或 factor) 与 一 些 用 于 分 隔 的 符号 组 合 而 成 。 

statement 可 以 是 if 语句 、while 语句 或 仅仅 是 简单 表达 式 语句 (simple )。 简单 表 达 
式 语句 是 仅 由 表达 式 ( expr ) 构成 的 语句 。 最 后 的 program 是 一 个 非 终 结 符 ， 它 可 以 包含 分 号 
或 换行 符 ， 用 于 表示 一 句 完整 的 语句 。 其 中 ，statement 可 以 省 略 ， 因 此 program 还 能 用 来 
表示 空 行 。 代 码 块 中 最 后 一 句 能 够 省 略 句 尾 分 号 与 换行 符 ， 为 此 ， 代 码 清 单 5.1 的 规则 中 分 别 设 
计 了 statement 5 program 两 种 类 型 。program 既 可 以 是 处 于 代码 块 之 外 的 一 条 语句 ， 也 可 
以 是 一 行 完整 的 程序 。 

Stone 语 言 的 语法 定义 


primary : "(" expr ")" | NUMBER | IDENTIFIER | STRING 
factor : "-" primary | primary 
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expr : factor { OP factor } 
block : "[" [ statement ] ((";" | EOL) [ statement ]j ")" 
simple : expr 
Statement : "if" expr block [ "else" block ] 
| "while" expr block 
| simple 
program : [ statement ] (";" | EOL) 





有 ZN 使 用 解析 器 与 组 合子 

接 下 来 ,我 们 根据 代码 清单 5.1 中 的 语法 来 设计 语法 分 析 器 。 如 果 语 法 规则 复杂 ， 语 法 分 析 
也 会 变 得 困难 ， 甚 至 需要 进行 专门 的 理论 研究 。 不 过 ， 代 码 清单 5.1 中 列 出 的 Stone 语言 的 语法 
执行 的 语法 分 析 较 简单 。 这 里 的 语法 规则 由 BNF 写成 ， 如 果 使 用 语法 分 析 器 自动 生成 工具 来 处 
理 ， 语 法 分 析 需 的 设计 就 更 加 简单 了 。 本 书 专门 设计 了 一 种 名 为 Parser 库 的 简单 的 库 来 设计 语 
法 分 析 如 ， 它 是 一 种 解析 融 组 合子 类 型 的 库 。 本 童 将 介绍 如 何 通过 该 库 来 设计 Stone 语言 的 语法 
分 析 器 。 库 的 内 部 结构 及 源 代码 则 会 在 第 17 章 解 说 。 





















































| Bl 需要 使 用 yacc 等 分 析 器 生成 器 吗 ? | 
D] 是 的 ， 一 般 都 会 用 yacc 这 类 工具 来 生成 基于 BNF 的 语法 分 析 器 。 
B 话 虽 如 此 ， 不 过 难得 用 Java 语言 这 样 的 面向 对 象 语言 来 设计 语法 分 析 器 ， 不 如 尝试 下 其 他 方 


| RE, ] 


Parser 库 的 工作 仪 是 将 BNF 写成 的 语法 规则 改写 为 Java 语言 程序 。 代 码 清单 52 是 由 代 
码 清单 5.1 中 列 出 的 Stone 语言 语法 转换 而 成 的 语法 分 析 程 序 。Parser 2%} Operators 类 都 
是 由 库 提供 的 类 。rule 方法 是 Parser 类 中 的 一 个 static 方法 。 

BasicParser 类 首先 定义 了 大 量 Parser 类 型 的 字段 ， 它 们 是 将 代码 清单 5.1 中 列 出 
的 BNF 语法 规则 转换 为 Java 语言 后 得 到 的 结果 。 例 如 ，primary 字段 的 定义 基于 非 终 结 
f] primary 的 语法 规则 。factor 与 block 同 理 ， 都 是 相应 的 Java 语言 形式 的 语法 规则 。 

据 此 定义 的 Parser 对 象 能 够 根据 各 种 类 型 的 非 终 结 符 模 式 来 执行 语法 分 析 。 例 如 ， 将 词法 
分 析 器 作为 参数 ， 调 用 program 字段 的 parse 方 法， 就 能 从 词法 分 析 器 获取 一 行程 序 中 包含 
的 单词 ， 并 对 其 做 语法 分 析 ， 返回 一 棵 抽象 语法 树 。 请 注意 一 下 BasicParser 类 的 parse 方 
法 ， 这 是 一 个 public 方 法, HTHH program 字段 的 parse 方法 。 


































































































| 四 虽说 是 从 BNF 形式 的 语法 转换 而 来 ， 但 这 Java 代码 还 真是 混乱 啊 。 | 
O 尽管 Parser 库 提供 了 内 部 DSL， 不 过 要 在 Java 内 也 实现 内 部 DSL 果然 还 是 不 太 容易 。 
内 部 DSL? 
Il DSL 指 的 是 领域 专用 语言 ( Domain-Specific languages )， 也 就 是 具有 特定 用 途 的 专用 语言 。 
回 例如 ， 在 用 Ruby 设计 并 实现 库 时 ， 即 使 本 质 上 只 是 一 段 使 用 了 库 的 普通 的 Ruby 程序 ， 也 能 
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够 通过 一 些 方式 让 它 看 起 来 像 是 用 DSL 写成 的 程序 。 或 是 让 它 具 有 和 使 用 DSL 写成 的 程序 
同样 的 可 读 性 与 书写 复杂 度 。 这 种 表面 上 的 DSL 被 称 为 内 部 DSL REAT DSL。 

B 为 便于 区 分 ， 除 此 以 外 的 DSL 称 为 外 部 DSL。 

B 说 到 底 ， 内 部 DSL 只 是 不 同 的 库 而 已 ， 因 此 与 外 部 DSL 相 比 更 容易 开发 。 通 过 内 部 DSL 5 
成 的 程序 也 能 与 没有 使 用 DSL 书写 的 程序 混合 使 用 。 

E] 另 一 方面 ， 用 外 部 DSL 写成 的 程序 必须 与 普通 的 程序 明确 区 分 使 用 才 行 。 

回 内 部 DSL 必须 通过 Ruby. Scala 或 是 Scheme 之 类 的 语言 才能 实现 。 

回 不 过 ， 就 算是 Scala， 解 析 器 组 合子 的 内 部 DSL 结构 依然 会 相当 混乱 。 

(E I, Parser 库 可 不 是 内 部 DSL。 它 应 该 属于 具有 流畅 界面 ”( fluent interface ) 的 库 才 对 。 
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TIERA Stone 语 言 的 语法 分 析 器 BasicParserjava 





package stone; 

import static stone.Parser.rule; 
import java.util.HashSet; 

import stone.Parser.Operators; 
import stone.ast.*; 


public class BasicParser ( 
HashSet«String» reserved = new HashSet«String»(); 
Operators operators - new Operators(); 





Parser expr0 = rule(); 
Parser primary - rule(PrimaryExpr.class) 
r(rule().sep("(").ast(exprO).sep(")"), 
rule().number(NumberLiteral.class), 
rule().identifier(Name.class, reserved), 
rule().string(StringLiteral.class)); 
Parser factor - rule().or(rule(NegativeExpr.class).sep("-").ast(primary), 


primary); 
Parser expr = exprO.expression(BinaryExpr.class, factor, operators); 


Parser statementO = rule(); 
Parser block - rule(BlockStmnt.class) 
.Sep("[").option(statementO) 
.repeat (rule().sep(";", Token.EOL).option(statementO)) 
.sep(")"); 
Parser simple - rule(PrimaryExpr.class).ast(expr); 
Parser statement = statementO.or( 
rule(IfStmnt.class).sep("if").ast(expr).ast(block) 
.option(rule().sep("else").ast(block)), 
rule(WhileStmnt.class).sep("while").ast(expr).ast(block), 
simple); 


Parser program - rule().or(statement, rule(NullStmnt.class)) 
.Sep(";", Token.EOL); 


public BasicParser() { 
reserved.add(";"); 





(D  http;//www.martinfowler.com/bliki/FluentInterface.html 
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reserved.add(")"); 
reserved.add(Token.EOL); 


operators.add("-", 1, Operators. 
operators.add("--", 2, Operators 
operators.add("»", 2, Operators. 
operators.add("«", 2, Operators. 
operators.add("«", 3, Operators. 
operators.add("-", 3, Operators 
operators.add("*", 4, Operators. 
operators.add("/", 4, Operators. 
operators.add("$", 4, Operators. 


) 

public ASTree 
return program.parse(lexer); 

) 


LEFT 
LEFT 


RIGHT 
.LEFT); 
LEFT 
LEFT 
LEFT 
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.LEFT); 
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parse (Lexer lexer) throws ParseException { 





Parser 类 的 方法 





























































































































































































































































































































































































































rule() 创建 Parser 对 象 

rule(Class c) 创建 Parser 对 象 

parse(Lexer 1) 执行 语法 分 析 

number () 句 语法 规则 中 添加 终结 符 ( 整 型 字 ) 

number(Class c) 句 语法 规则 中 添加 终结 符 ( 整 型 字 ) 

identifier(HashSet«String» r) 句 语 法 规则 中 添加 终结 符 ( 除 保留 字 工 外 的 标识 符 ) 

identifier(Class c, HashSet«String» r) 句 语法 规则 中 添加 终结 符 ( 除 保 留 字 v 外 的 标识 符 ) 

string() 句 语 法 规则 中 添加 终结 符 ( 字符 串 字 面 量 ) 

string(Class c) 句 语 法 规则 中 添加 终结 符 ( 字符 串 字 面 量 ) 

token(String.. pat) 句 语法 规则 中 添加 终结 符 ( E pat 匹配 的 标识 符 ) 

PEN EE eed 避 语 法 规 册 中 添加 未 包含 于 抽象 语法 树 的 终结 符 ( 与 pat 匹配 
的 标识 符 

ast(Parser p) 句 语 法 规则 中 添加 非 终结 符 p 

option(Parser p) 句 语法 规则 中 添加 可 省 略 的 非 终结 符 p 

E 句 语法 规则 中 添 ; 0 可 省 略 的 非 终结 符 ( 如 果 省 略 ， 则 作为 一 
棵 仅 有 根 节 点 的 抽象 语法 树 处 理 ) 

r(Parser.. p) 句 语法 规则 中 添加 若干 个 由 or 关系 连接 的 非 终结 符 p 

repeat (Parser p) 句 语法 规则 中 添加 至 少 重 复出 现 0 次 的 非 终结 符 p 

expression(Parser p, Operators op) 句 语 法 规则 中 添加 双 目 运算 表达 式 (p 是 因子 ，op 是 运算 符 表 ) 

expression(Class c, Parser p, Operators op) | 向 语法 规则 中 添加 双 目 运算 表达 式 ( p 是 因子 ，op 是 运算 符 表 ) 

reset () 清空 语法 规则 

reset(Class c) 清空 语法 规则 ， 将 节点 类 赋值 为 c 








insertChoice(Parser p) 








为 语法 规则 起 始 处 的 or 添加 新 的 分 支 选 








X C 是 语法 分 析 树 的 节点 类 
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K 5.1 列 出 了 Parset 类 的 方法 。 接 下 来 ， 我 们 来 看 一 下 如 何 具体 通过 这 些 方法 将 BNF JÉ 
式 的 语法 规则 转换 为 Java 语言 。 
首先 ， 假 设 我 们 要 处 理 这 样 一 条 语法 规则 。 


paren : "(n expr "yn 














非 终 结 符 paren 表示 的 是 由 括号 括 起 的 表达 式 。 这 条 规则 的 右 半 部 分 是 从 代码 清单 5.1 的 
非 终结 符 primary 的 模式 中 抽取 的 。 
将 它 转换 为 Java 语言 后 将 得 到 下 面 的 代码 。 


Parser paren = rule().sep("(").ast(expr).sep(")"); 


paren 的 值 是 一 个 Parser 对 象 ， 它 表示 非 终 结 符 paren 的 模式 ( 即 语法 规则 的 右 半 部 
分 )。rule 方法 是 用 于 创建 Parser 对 象 的 factory 方法 。 由 它 创建 的 Parser 对 象 的 模式 为 空 ， 
需要 依 出 现 顺 序 向 模式 中 添加 终结 符 或 非 终 结 符 。 根 据 语 法 规则 ， 非 终结 符 paren 的 模式 包含 
左 括号 、 非 终结 符 expr 以 及 右 括 号 。 这 些 模式 需要 依次 添加 至 新 创建 的 模式 之 中 。 

左右 括号 不 仅 是 终结 符 ， 也 是 分 隔 字符 ( seperator )， 因 此 需要 通过 sep 方法 添加 。 非 终结 
符 则 由 asc 方法 添加 ， 其 参数 是 一 个 与 需要 添加 的 非 终结 符 对 应 的 Parser 对 象 。 

这 样 一 来 ，Parser 对 象 就 能 够 表示 某 一 特定 的 语法 规则 模式 。 该 对 象 不 仅 能 完整 表示 语 
法 规则 右 半 部 的 模式 ， 也 能 表示 模式 的 一 部 分 。or 方法 与 repeat 方法 能 够 表示 BNF 中 由 
“| (或 ”与 “{}” 构 成 的 循环 ,而 Parser 对 象 能 够 接收 用 于 表示 这 些 分 支 选 项 或 循环 部 分 的 
模式 的 参数 。 

例如 ， 代 码 清单 5.1 中 非 终结 符 factor 的 语法 规则 如 下 所 示 。 


factor : "-" primary | primary 














在 代码 清单 5.2 中 ， 与 该 规则 对 应 的 factor 字段 的 定义 如 下 所 示 。 为 方便 阅读 ， 此 处 省 略 
f rule 方法 的 参数 。 


Parser factor - rule().or(rule().sep("-").ast(primary), primary); 





factor 规则 右 侧 的 模式 将 匹配 Primary 或 是 - 号 后 接 primary 的 组 合 。 这 里 的 代码 
调用 了 通过 rule 方法 创建 的 Parser 对 象 的 oz 方法， 并 添加 了 两 种 分 支 模式 。 对 该 模式 来 
W, factor 对 应 的 Parser 对 象 只 要 与 两 者 中 的 一 种 匹配 即 可 。 

or 方法 的 两 个 参数 接收 的 都 是 Parser 对 象 ， 作 为 将 被 添加 的 分 支 选 项 。 第 2 个 参数 
接收 的 Parser 对 象 用 于 表示 非 终 结 符 primary 的 模式 ， 第 1 个 参数 则 将 接收 如 下 所 示 
的 Parser 对 象 。 




















rule().sep("-").ast(primary) 


该 对 象 能 够 表示 语法 规则 中 | 左 侧 的 模式 : 
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"-" primary 





这 样 一 来 ，Parser 对 象 就 能 仅 表示 语法 规则 右 侧 所 写 模 式 的 一 部 分 。 














( El 如 果 不 写 rule 方法 ，Java 语言 的 版 本 和 BNF 版 本 就 很 相似 了 ， 看 着 很 顺眼 。 











| 


Parser factor - or(sep("-").ast(primary), primary); 


上 面 这 行 和 BNF 很 相似 不 是 吗 ? 
H 8, 其实 写 成 

















Parser factor - sep("-").ast(primary) 


这 样 是 最 好 的 。 


or primary; 


O 不 过 Java 语言 没 办 法 这 么 写 啊 ， 我 没 想 出 不 用 rule 实现 的 方法 。 











回 这 样 一 来 就 会 出 现 很 多 rule To 





O or 或 option 方法 的 参数 将 接收 Parser 对 象 ， 它 们 其 实 是 一 些 子 模式 。 在 子 模式 对 应 的 表 


达 式 之 前 要 写 上 rule() .。 
Bi 嗯 ， 如 果 不 在 前 面 加 上 rule () .， 根 本 就 无 




















法 通过 编译 ， 会 发 生 编 译 错误 。 








B 所 以 说 只 要 记 住 ,or 与 option 方法 的 参数 对 应 的 或 是 一 个 Parser 对 象 ， 或 是 一 个 





由 rule() 开头 的 表达 式 。 





对 了 ，BasicParset 类 一 开始 的 这 句 是 什么 ? 


Parser exprO = rule(); 








之 后 还 有 一 名 












































Parser statement0 = rule(); 
| B 之 所 以 有 这 两 句 ， 是 因为 语法 规则 的 定义 是 递归 的 。 J 








在 代码 清单 52'h, BasicParser 类 首先 





通过 rule 方法 创建 了 一 个 Parser 对 象 ， 且 没 


有 调用 其 他 任何 方法 ， 直 接 将 该 对 象 赋值 给 expro 字段 。 


Parser exprO = rule(); 





这 里 预先 创建 的 Parser 对 象 expro 之 后 将 会 被 赋值 给 sxpr。 话 言 处 理 需 可 以 通过 该 对 象 
依次 创建 与 primary 及 factor 对 应 的 Parser 对 象 ， 最 后 再 使 用 factor 将 正确 的 模式 添加 
至 expz0 ,完成 一 系列 的 处 理 。 最 终 获 得 的 对 象 ( 实际 上 即 为 expro ) 将 被 赋值 给 expr。 在 代码 








清单 52'P, statement 字段 也 做 了 相同 的 处 理 。 





























Il 为 什么 不 从 一 开始 就 把 它 赋值 给 expr 呢 ? 


: 
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是 啊 ， 先 赋值 给 expr0 看 起 来 没什么 用 。 

进一步 说 ， 为 什么 非 要 有 expr0 和 expr 这 些 字段 呢 ? 
因为 写成 这 种 形式 更 像 DSL。 

如 果 在 BasicParser 的 构造 函数 里 包 
一 个 字段 而 是 局 部 变量 。 比 如 : 


















































ie 

















£ Parser 对 象 ， 效 果 也 一 样 吗 ? 那里 的 expr 不 是 

















public BasicParser() { 
Parser exprO = rule(); 
Parser primary - rule(PrimaryExpr.class)... 


) 


B 是 一 样 的 。 
B 哪 一 种 方式 更 好 呢 ? 
四 我 觉得 都 差不多 。 
回 这 要 看 是 不 是 采用 内 部 DSL 风格 了 ， 前 一 种 像 是 DSL， 后 一 种 则 没 这 种 感觉 。 
B 就 是 这 样 。 这 也 是 内 部 DSL 的 局 限 性 。 

人 加 这 样 啊 ， 其 实 我 只 是 想 了 解 下 老师 您 个 人 的 喜好 而 已 啦 。 J 







































































代码 清单 5.1 中 ， 非 终结 符 expr 的 语法 规则 如 下 : 


expr : factor ( OP factor ) 


代码 清单 5.2 中 只 有 一 名 调用 expression 方法 的 代码 : 


Parser expr - exprO.expression(BinaryExpr.class, factor, operators); 





由 于 前 文 所 述 的 语法 的 循环 定义 ,， 右 半 部 分 没有 以 rule O0 开始 ,而 是 使 用 了 expro. Mox 
个 角度 来 看 ， 不 用 expro 而 改 用 rule (0 也 没 问 题 。 

Parser 类 的 expression 方法 能 够 简单 地 创建 expr 形式 的 双 目 运算 表达 式 语 法 。 该 方 
法 的 参数 是 因子 的 语法 规则 以 及 运算 符 表 。 此 外 ， 节 点 类 也 能 作为 方法 的 参数 。 利 用 这 些 参数 调 
用 expression 方 法 ， 就 能 将 双 目 运算 符 的 语法 规则 自动 添加 至 Parser 对 象 。 因 子 ( factor ) 
指 的 是 用 于 表示 (优先 级 最 高 的 ) 运算 符 左 右 两 侧 成 分 的 非 终结 符 。 参 数 将 被 传递 至 与 这 一 因子 
的 语法 规则 对 应 的 Parser 对 象 。 

运算 符 表 以 Operators 对 象 的 形式 保存 ， 它 是 expression 方法 的 第 3 个 参数 。 运 算 符 
能 通过 ada 方法 逐一 添加 。 例 如 ,语言 处 理 器 可 以 在 代码 清单 52 中 BasicParser 的 构造 函数 
内 通过 下 面 的 方式 添加 新 的 运算 符 。 


operators.add("-", 1, Operators.RIGHT); 


add 方法 的 参数 分 别 是 用 于 表示 运算 符 的 字符 串 、 它 的 优先 级 以 及 左右 结合 顺序 。 用 于 表示 
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优先 级 的 数字 是 一 个 从 1 开始 的 int 类 型 数值 ， 该 值 越 大 ， 优 先 级 越 高 。 

adda 方 法 的 第 3 个 参数 如 果 是 operators .LEFT， 则 表示 左 结 合 ; WREE Operators. 
RIGHT， 则 表示 右 结 合 。 左 结合 指 的 是 两 个 相同 运算 符 接连 出 现时 左 侧 的 那个 优先 级 较 高 。 例 
如 ，+ 号 是 一 种 左 结合 的 运算 符 ， 因 此 ， 在 计算 


1+2 +3 








时 ， 将 会 像 下 面 这 样 首先 计算 左 侧 的 加 法 运算 。 


((1 + 2) + 3) 














如 果 是 右 结合 ， 就 会 先 计算 右 侧 的 运算 。 通 常 ， 赋 值 运算 符 = 右 结合 的 运算 符 ， 如 果 它 是 
左 结合 的 ,那么 表达 式 




















x 将 首先 被 赋值 为 y, 之 后 又 被 赋值 为 3。 这 仆 怕 不 是 期 望 的 结果 。 如 果 是 右 结合 , 这 人 句 表达 
式 将 等 同 于 























x 与 y 都 将 被 赋值 为 3。 这 是 通常 期 望 的 结果 。 除 了 赋值 运算 符 , 竹 乘 运算 一 般 也 是 右 结 




















/一 ~ 
| 老师 ，BasicParser 类 中 的 reserved 字段 有 什么 用 ? | 


s — 





代码 清单 5.1 中 ， 非 终结 符 primary 的 语法 规则 右 半 部 分 含有 NUMBER 5 IDENTIFIER 两 
个 成 分 。 它 们 分 别 与 代码 清单 5.2 中 Parser 类 的 number 方法 与 identifier 方法 对 应 。 

identifier 方法 能 够 将 表示 标识 符 的 终结 符 IDENTIFIER 添加 至 模式 中 。 该 终结 符 能 够 
与 除 一 部 分 特定 标识 符 之 外 的 任意 单词 匹配 。iqentifier 方法 将 接收 一 个 HashSset 对 象 作为 
参数 ，IDENTIFIER 不 与 该 对 象 中 包含 的 字符 串 匹 配 。 也 就 是 说 ，Hashset 中 包含 的 标识 符 无 
法 作为 变量 名 使 用 。 

BasicParser 类 的 reserved FRÆ identifier 方法 的 参数 。Stone 语法 的 词法 分 析 
顺 将 把 所 有 的 符号 识别 为 标识 符 。 因 此 ， 如 果 不 明 确 指定 不 可 作为 变量 名 使 用 的 标识 符 ， 右 括 
号 或 分 号 等 符号 也 都 将 被 识别 为 变量 名 参与 语法 分 析 。 为 避免 这 种 情况 ，identifier 方 法 
需要 接收 一 个 Hashset 对 象 作 为 参数 。 不 过 ， 根 据 语 法 分 析 算 法 ， 左 括号 无 需 专门 添加 至 
该 HashSet XZ, HashSet 对 象 只 需 包含 有 可 能 被 识别 为 变量 名 的 符号 即 可 。 
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EX. miner nM i BUR 


Parser 对 象 的 parse 方 法 将 在 成 功 执行 语法 分 析 后 以 抽象 语法 树 的 形式 返回 分 析 结 
实际 上 ， 代 码 清单 5.2 中 ,为 了 返回 期 望 的 抽象 语法 树 ，Parser 库 已 经 做 了 细微 的 调整 。 接 下 
来 ， 让 我 们 来 看 一 下 这 些 调整 的 具体 内 容 。 

上 一 章 中 ， 代 码 清单 4.1 ~ 代码 清单 4.6 已 经 对 代码 清单 5.2 使 用 的 抽象 语法 树 的 节点 类 
作 了 介绍 。 其 他 一 些 尚未 涉及 的 部 分 ， 代 码 清单 5.3 ~ 代码 清单 5.9 将 做 具体 讲解 。 代 码 清单 
53 ~ 代码 清单 5.9 中 的 类 都 是 AsTList 的 子 类 ， 它 们 大 多 定义 了 看 干 个 访问 需 方 法 ， 并 覆盖 了 
相关 的 tostring 方法 。 

















— 


(n 这 些 类 也 被 用 于 代码 清单 6.2 中 rule 方法 的 参数 呢 。rule 的 参数 都 有 什么 用 呀 ? | 



































Parser 库 将 在 找到 与 语法 规则 中 的 模式 匹配 的 单词 序列 后 用 它们 来 创建 抽象 语法 树 。 如 果 
没有 指定 抽象 语法 树 的 根 节 点 ， 则 会 默认 使 用 一 个 RsTList 对 象 。 用 于 表示 单词 匹配 的 对 象 将 
构成 语法 树 的 叶 节 点 。 如 果 没 有 特别 说 明 ， 叶 方 点 都 是 ASTLeaf 对 象 。 





























: ASTLeaf 
: ASTLeaf : ASTLeaf : ASTLeaf 
token = 3 token = + token = 4 


























3 + 4 经 过 语法 分 析 后 生成 的 抽象 语法 树 


假设 有 下 面 这 样 的 语法 规则 : 


adder: NUMBER "+" NUMBER 


将 它 改 写 为 Java 语言 后 ， 将 得 到 


Parser adder = rule().number().token("-«").number(); 


Parser 库 查 找到 与 该 模式 匹配 的 单词 序列 后 将 创建 如 图 5.1 所 示 的 抽象 语法 树 的 子 树 。 其 
中 ， 叶 节点 是 用 于 表示 与 该 模式 匹配 的 单词 ( 即 终结 符 ) 的 ASTLeaf 对 象 ， 它 们 的 直接 父 节 点 
是 一 个 ASTLi st 对象， 构成 了 这 棵 子 树 的 根 节点 。 其 他 的 类 也 能 作为 该 子 树 根 节点 与 叶 节 点 
的 对 象 类 型 。 如 果 rule 方法 的 参数 为 java .lang .Class 对 象 ， 抽象 语 法 树 的 根 节点 就 是 一 
个 该 类 的 对 象 。 此 外 ，number 5 identifier 等 方法 除了 能 够 向 模式 添加 终结 符 ， 还 可 以 接 
收 java.lang.Class 对 象 作为 参数 ， 生 成 这 种 类 型 的 叶 节 点 对 象 。 


Parser adder - rule(BinaryExpr.class).number (NumberLiteral.class) 
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.token ("+") 
.number (NumberLiteral.class); 





以 以 上 方式 改写 代码 ， 叶 节点 将 改 为 NumberLiteral 对 象 ， 根 节点 则 将 是 一 
个 BinaryExpr 对 象 。 

上 例 中 ，+ 号 由 上 oken 方 法 添加 。 如 果 和 希望 向 模式 添加 分 隔 符 ， 就 需要 使 用 sep 方法 。 通 
过 sep 方法 添加 的 符号 不 会 被 包含 在 生成 的 抽象 语法 树 中 。 例 如 : 


Parser adder - rule().number().sep("«").number(); 











生成 的 抽象 语法 树 与 图 5.1 所 示 的 语法 树 的 区 别 在 于 ， 它 不 含 中 间 的 RsTLeaf 对 象 。 为 保 
持 抽 象 语法 树 结 构 简 洁 ， 程 序 执行 过 程 中 无 需 使 用 的 终结 符 应 尽 可 能 去 除 。 
























































要 是 括号 、 喜 号 之 类 的 吧 。 





| EB 不 过 通常 + 号 都 会 被 包含 在 抽象 语法 中 ， 这 个 例子 举 得 不 太 好 啊 。 需 要 用 sep 添加 的 符号 主 | 














如 果 语 法 规则 的 模式 中 含有 非 终 结 符 ， 与 该 非 终 结 符 匹 配 的 单词 序列 将 暂时 原样 保留 在 子 树 中 。 
让 我 们 来 看 一 个 例子 ， 下 面 的 模式 使 用 了 上 面 提 到 的 aader. 


Parser eq = rule() .ast (adder) .token("==") .ast (adder) ; 











ast 方 法 用 于 向 模式 添加 非 终 结 符 。 它 的 参数 是 一 个 Parser 对 象 。 上 面 的 例子 中 传递 
给 ast 方法 的 参数 是 adder, 不 过 由 rule () 起 始 的 表达 式 也 能 直接 作为 参数 使 用 。 无 论 哪 一 
种 方式 ,与 ast 方法 接收 的 Parser 对 象 所 表示 的 模式 相 匹配 的 部 分 都 会 首先 作为 一 棵 子 树 呈 
现 ， 该 子 树 能 够 表示 Parser 对 象 中 的 结构 关系 。 这 棵 子 树 的 根 节 点 将 成 为 某 些 由 上 一 层 模 式 生 
成 的 节点 的 直接 子 节 点 。 如 图 5.2 所 示 ， 根 据 adder 生成 的 子 树 的 根 节点 是 根据 eq 生成 的 抽象 
语法 树 的 根 节 点 (最 上 层 的 ASTList 对 象 ) 的 一 个 子 节点 。 























: ASTList 























: ASTLeaf 
token = == 















: ASTList : ASTList 

















: ASTLeaf 
token 2 3 


: ASTLeaf : ASTLeaf 
token = 4 token = 5 







: ASTLeaf 
token = 2 





























: ASTLeaf 
token = + 


: ASTLeaf 
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(B 这 里 的 关键 在 于 ， 一 个 由 rule(). 开始 的 模式 能 够 创建 一 个 上 一 层 节点 的 对 象 。 如 果 模 式 之 ) 
IB ERE, RERI E SOGAR E. 
树 的 高 度 ? 
( B 就 是 根 节点 与 叶 节点 之 间 树枝 的 条 数 。 

































































] 
以 上 是 Parser 库 构造 抽象 语法 树 的 基本 规则 ， 不 过 由 这 种 规则 生成 语法 树 通 常会 很 大 ， 包 
含 很 多 无 用 的 信息 。 请 参见 代码 清单 5.2 中 factor 的 定义 。 


parser factor - rule().or(rule(NegativeExpr.class).sep("-").ast(primary), 











primary); 


根据 已 经 介绍 的 基本 规则 ， 表 达 式 x + -y 经 过 语法 分 析 后 将 得 到 图 5.3 左 侧 的 抽象 语法 
树 。 图 中 的 ASTList 对 象 不 含 任何 信息 ， 显 然 没 有 存在 的 必要 。 

BinaryExpr 对 象 的 左右 子 节点 由 factotr 创建 。factor 的 模式 将 使 用 一 个 or 方 
ik, or 方法 有 两 个 参数 ， 只 有 其 中 一 个 参数 将 接收 抽象 语法 树 ， 并 以 此 创建 与 £actor 对 应 的 
抽象 语法 树 。 根 据 基 本 的 创建 规则 ， 接 收 的 语法 树 将 成 为 新 创建 的 ASTLi st 对 象 唯 一 的 子 闻 
点 ,一同 构成 整 棵 用 于 表示 factor 的 抽象 语法 树 。 

接 下 来 ,我 们 添加 一 条 特殊 的 规定 ， 即 ， 如 果子 节点 只 有 一 个 ，Parser 库 将 不 会 另 
外 创建 一 个 额外 的 节点 。 本 应 是 子 节点 的 子 树 将 直接 作为 与 该 模式 对 应 的 抽象 语法 树 使 用 。 
以 x + -y 为 例 ， 生 成 的 抽象 语法 树 如 图 5.3 的 右 侧 所 示 。 根 据 这 条 规定 ，Parser 库 不 会 创 
建 无 用 的 ASTLi st 对象。 以 Name 对 象 及 NegativeExpr 对 象 为 根 节点 的 子 树 将 直接 成 为 
与 factor 对 应 的 抽象 语法 树 。 














































































































f. 可 以 通过 调用 tostring 方法 来 查看 创建 的 抽象 语法 树 ， 之 后 我 还 会 详细 说 明 。 | 
回 是 要 使 用 Parser 类 的 parse 方法 返回 的 ASTree 对 象 提 供 的 tostring 方法 对 吧 。 





这 条 特殊 规则 不 适用 于 rule 方法 的 参数 接收 了 一 个 类 的 情况 。 因 此 ， 图 5.3 的 右 侧 仅 含 1 
个 子 节点 的 NegativeExpr 对 象 不 能 省 略 。 创 建 以 NegativeExpr 对 象 为 根 的 子 树 的 代码 如 
下 所 示 : 


rule(NegativeExpr.class).sep("-").ast(primary) 





由 于 rule 方法 接收 了 一 个 参数 ， 因 此 不 能 套用 上 面 的 特殊 规则 。 







































































(a 图 5.3 中 没 用 的 就 只 有 ASTList 对 象 而 已 哦 。 ) 
回 NegativeExpr 对 象 虽 然 也 只 有 一 个 子 节点 ， 但 不 能 省 略 。 
| B 没 错 。 不 然 就 不 知道 带 不 带 负 号 了 。 y 
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: BinaryExpr 





operator = + 








































































































factor --、、 „--- factor 
I : BinaryExpr 
: ASTList : ASTList operator = + 
factor -... ,--- factor 
"iru primary mn, "x x 
i ~ primary E j 
: Name : NegativeExpr : Name : NegativeExpr 
name = x name = X 
primary cS primary «777 | 7. 
: Name : Name 
name = y name = y 

















RTX + -y 的 抽象 语法 树 ( 左 : 赁 直觉 画 出 的 抽象 语法 树 ， 右 : 由 Parser 库 生成 的 抽象 语法 树 ) 





如 果 和 希望 在 rule 方法 接收 参数 时 也 应 用 这 条 特殊 规则 ， 就 需要 像 下 面 这 样 为 作为 参数 的 类 
定义 签名 方法 。 例 如 ， 代 码 清单 5.3 中 PrimaryExpr 类 的 签名 方法 如 下 所 示 。 


public static ASTree create(java.util.List«ASTree» c) 


在 Parser 库 为 抽象 语法 树 创建 新 的 节点 对 象 时 ， 如 果 该 对 象 的 类 含有 上 面 这 样 
的 create 方法 ，Parser 库 将 不 会 直接 创建 该 类 的 对 象 ， 而 是 会 调用 create 方法 ， 并 将 返回 
的 值 作为 节点 对 象 。 

create 方 法 的 参数 是 一 个 ASTree 对象， 它 是 即将 创建 的 节点 的 子 节点 。 对 
T PrimaryExpzr 类 的 create 方法 ， 如 果 参 数 仅 接收 一 个 子 节点 ，Parsez 库 将 不 会 创建 新 
的 PrimaryExpr 对 象 ， 而 是 直接 返回 作为 参数 传递 的 子 节 点 ， 和 否则 将 通过 new 运算 符 创 建 一 
个 新 的 PrimaryExpr 对 象 并 返回 。create 方法 的 具体 内 容 如 下 所 示 。 


neeurneenslze en nv ln ((e)) 5 























这 样 一 来 ， 无 论 rule 方法 有 没有 接收 参数 ， 都 会 执行 上 文 定 义 的 特殊 规则 。 


























[ H 从 代码 清单 5.2 来 看 ，primary 始终 只 有 一 个 子 节点 。 还 有 必要 特地 定义 PrimaryExpr 类 吗 ? ) 
I 的 确 ， 没 有 创建 过 PrimaryExpr 对 象 呢 。 
O 不 要 在 意 这 些 。PrimaryExpr 其 实 只 是 为 了 之 后 的 功能 扩展 准备 的 。 现 在 的 确 用 不 到 ， 没 

| 必要 将 PrimaryExpr 类 作为 rule 的 参数 传递。 J 








































































































最 后 ， 我 们 来 看 一 下 如 何 将 非 终 结 符 program 的 语法 规则 改写 为 Java 语言 。 代 码 清 单 5.1 
中 ，program 的 语法 规则 如 下 所 示 。 
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program : [ statement ] (";" | EOL) 
program 由 可 省 略 的 非 终 结 符 statement 以 及 一 个 必需 的 分 号 或 换行 符 组 成 。 代 码 清单 
52 没有 像 下 面 这 样 ， 直 接 按照 该 模式 将 语法 规则 改写 为 Java 程序 代码 。 


Parser program - rule().option(statement) 
.Sep(";", Token.EOL); 








这 段 代码 中 ，or 方法 代替 了 option 方法 ， 如 下 所 示 。 


Parser program - rule().or(statement, rule(NullStmnt.class)) 
depu Moe) 


两 者 看 起 来 不 一 样 ， 表 示 的 语法 规则 却 没有 差别 。 其 中 ， 


rule (Nullstmnt .class) 








没有 像 平时 那样 ， 在 调用 rule 方法 后 接着 调用 sep 方法 。 因 此 ， 它 表示 的 是 一 个 空 模式 。 
也 就 是 说 ，program 的 前 半 部 分 可 以 是 非 终 结 符 statement， 也 可 以 为 空 ， 之 后 再 接 分 号 或 换 
行 符 。 这 与 原来 的 语法 规则 相同 。 
如 果 硬 要 用 BNF 形式 表示 ， 则 是 像 下 面 这 样 的 写法 。 


program : ( statement | 空 ) (";" | EOL) 











之 所 以 特地 用 oz 方法 代替 option 方 法 ， 是 为 了 能 在 模式 仅 含 分 号 或 换行 符 时 ， 创 
建 一 个 特殊 的 对 象 来 反映 这 种 情况 。 如 果 使 用 or 方法 而 语句 内 容 为 空 ，Parser 库 将 创建 
一 棵 仅 含 一 个 节点 的 树 ， 作 为 与 非 终 结 符 program 对 应 的 抽象 语法 树 。 此 时 ， 节 点 对 象 是 
一 个 NullStmnt 对 象 ， 且 不 含 子 节点 。 根 据 之 前 设计 的 特殊 规则 ， 不 必要 的 节点 将 被 省 
Wi, program Xét dE statement 对 应 的 抽象 语法 树 表现 ， 或 是 直接 通过 一 
个 Nullstmnt 对 象 表现 。 


























Bs, 是 的 。 

















代码 清单 5.8 是 Nullstmnt 类 的 结构 。 有 了 这 个 类 之 后 ， 只 要 检查 生成 的 抽象 语法 树 的 类 ， 
就 能 轻松 判断 是 否 省 略 了 statement, 









































(a 不 过 看 着 还 是 很 混乱 呢 。 
B 这 是 因为 我 们 希望 能 自动 生成 抽象 语法 树 啊 。 库 或 yacc 这 类 的 工具 在 自动 生成 方面 有 很 大 的 
局 限 性 。 

四 如 果 不 自动 生成 ， 该 怎么 办 呢 ? 
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回 那 就 只 能 根据 一 条 条 语法 规则 ， 完 全 手写 创建 抽象 语法 树 了 。 
| 四 这 也 够 麻烦 的 。 














ER PrimaryExpr.java 





package stone.ast; 
import java.util.List; 


public class PrimaryExpr extends ASTList ( 


public PrimaryExpr(List«ASTree» c) ( super(c); } 
public static ASTree create(List«ASTree» c) { 
return c.size() == 1 ? c.get(0) : new PrimaryExpr(c); 


) 





WEEE] NegativeExpr.java 


package stone.ast; 
import java.util.List; 


public class NegativeExpr extends ASTList { 
public NegativeExpr(List«ASTree» c) ( super(c); } 
public ASTree operand() ( return child(0); } 
public String toString() { 
return "-" 4 operand(); 
) 





ANE BlockStmnt.java 





package stone.ast; 
import java.util.List; 


public class BlockStmnt extends ASTList { 
public BlockStmnt (List<ASTree> c) { super(c); } 


) 





DASS] ifStmntjava 





package stone.ast; 
import java.util.List; 


public class IfStmnt extends ASTList { 
public IfStmnt(List«ASTree» c) ( super(c); } 
public ASTree condition() ( return child(0); } 
public ASTree thenBlock() ( return child(1); } 
public ASTree elseBlock() { 
return numChildren() » 2 ? child(2) : null; 





} 
public String toString() { 
return "(if " + condition() + " " + thenBlock() 
+ " else " + elseBlock() + ")"; 
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ALEAN WhileStmnt.java 


package stone.ast; 
import java.util.List; 


public class WhileStmnt extends ASTList [ 
public WhileStmnt (List«ASTree» c) ( super(c); } 
public ASTree condition() { return child(0); } 
public ASTree body() { return child(1); } 
public String toString() { 
return "(while " + condition() + " " + body() + ")"; 





) 


SESS] NullStmnt.java 
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package stone.ast; 
import java.util.List; 


public class NullStmnt extends ASTList ( 
public NullStmnt(List«ASTree» c) { super(c); ] 
) 





DEA stringLiteral.java 





package stone.ast; 
import stone.Token; 


public class StringLiteral extends ASTLeaf ( 
public StringLiteral(Token t) ( super(t); } 
public String value() { return token().getText(); } 





EX. stisikass 











代码 清单 52 中 的 语法 分 析 器 需要 通过 调用 BasicParser 类 的 parse 方法 来 执行 。 该 
方法 将 从 词法 分 析 器 逐一 读 取 非 终 结 符 program。 即 ， 以 语句 为 单位 读 取 单词 ， 并 进行 语法 分 











析 。parse 方法 的 返回 值 是 一 棵 抽象 语法 树 。 





代码 清单 5.10 是 parse 方 法 的 使 用 范例 。 该 类 的 main 方法 在 执行 后 将 显示 一 个 对 话 


框 ， 并 对 输入 的 程序 执行 语法 分 析 。 程 序 将 调用 经 过 分 析 得 到 的 AsTree 对 象 (抽象 语法 树 ) 





的 tostring 方法 来 显示 结果 。 该 过 程 将 循环 多 次 。 


从 这 段 代 码 可 以 看 出 ， 本 章 设 计 的 这 个 语法 分 析 融 能 够 通过 调用 toSstring 方 法 来 获取 一 
段 字符 串 ， 并 以 此 了 解构 造 的 抽象 语法 树 的 结构 。 例 如 ，ASTList 类 的 tostring 方法 将 调用 
所 有 子 节点 的 ASTree 对 象 的 toString 方 法 ， 并 用 空白 符 连 接 所 有 字符 串 ， 最 后 在 两 侧 添加 








括号 后 返回 。 
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TIT 


( 回 就 好 比 Lisp 的 S 表达 式 吧 。 
B 但 Ifstmnt 等 一 些 类 的 设计 还 是 有 
何 实现 的 吧 。 






































些 不 同 的 ， 要 想 ] 解 具 体内 容 ， 就 去 看 toString 是 如 





| 











接 下 来 ,我们 看 一 个 例子 。 下 面 是 一 段 示 例 程 序 ， 以 及 执行 语法 分 析 后 
even = 0 
odd = 0 
a s 3 
while i « 10 ( 
if 1 $ 2 == ( // even number? 
even = even + i 
) eise { 
odd - odd « i 
} 
Lo 和 


even + odd 


这 段 代码 的 语法 分 析 结 果 如 下 所 示 。 





— 


得 到 的 抽象 语法 树 。 





(even = 0) 
(xelel —- 9) 
(a = 1) 
(while (i « 10) ((if ((i1$ 2) E= 0) ((even = (even + i))) 
else odas odi 5) (0 
(even + odd) 
需要 注意 的 是 ，while 语句 只 是 由 于 过 长 而 不 得 不 中 途 换行 ， 其 实 只 有 一 和 


MA REAA ParserRunner.java 


Jo 





package chap5; 
import stone.ast.ASTree; 
import stone.*; 


public class ParserRunner { 
public static void main(String[] args) throws ParseException { 
Lexer 1 new Lexer(new CodeDialog()); 
BasicParser bp new BasicParser(); 
while (1l.peek(0) !- Token.EOF) { 
ASTree ast bp.parse(1); 
System.out.println("-» " + ast.toString()); 
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老师 ， 听 说 你 
又 写 了 一 本 教 
材 是 033 
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E5 
0 通过 解释 器 执行 程序 




















只 要 能 通过 语法 分 析 得 到 抽象 语法 树 ， 程 序 的 执行 就 简单 了 。 解 释 器 只 需 从 抽象 语法 树 的 根 
节点 开始 遍历 该 树 直 至 时节 点 ， 并 计算 各 节点 的 内 容 即 可 。 这 就 是 解释 器 的 基本 实现 原理 。 

















6.1 N eval 方法 与 环境 对 象 


要 根据 得 到 的 抽象 语法 树 来 执行 程序 ， 各 个 语法 树 节点 对 象 的 类 都 需要 具备 eval 方 
法 。eval 是 evaluate( 求 值 ) 的 缩写 。eval 方法 将 计算 与 以 该 节点 为 根 的 子 树 对 应 的 语句 表达 
式 及 子 表达 式 ， 并 返回 执行 结果 。 因 此 ， 只 要 调用 抽象 语法 树 的 根 节点 对 象 的 eval 方法 ， 就 能 
完整 执行 该 语法 树 对 应 的 程序 。 

eval 方法 将 递归 调用 该 节点 的 子 节点 的 eval 方法 ， 并 根据 它们 的 返回 值 计算 自身 的 返回 
值 ， 最 后 将 结果 返回 给 调用 者 。 不 同 节 点 对 返回 值 的 计算 方式 不 同 ， 因 此 ， 各 个 节点 的 类 需要 用 
盖 各 自 的 eval 方法 。 也 就 是 说 ， 不 同类 型 的 节点 的 类 ， 对 eval 方法 有 着 不 同 的 定义 。 
例如 ， 图 6.1 显示 了 调用 + 运算 符 对 应 节点 对 象 的 eval 方 法 后 的 计算 流程 。 下 面 
是 eval 方法 的 简化 版 本 (实际 的 方法 会 更 复杂 一 些 )。 

public Object eval (Environment env) { 


Object left = left().eval(env); 
Object right - right().eval(env); 























return (Integer)left « (Integer)right; 





该 节点 含有 两 个 子 节点 ， 对 应 节点 对 象 的 eval 方法 将 被 | 
依次 调用 。 该 图 中 ， 与 左 侧 1eft O 对 应 的 子 节点 的 eval 方 , 
法 将 返回 13, SAM right O 对 应 的 子 节点 的 eval 方法 将 返 P F 











EE mc 
lx 2 的 计算 结果 。 将 两 侧 eval 方法 的 返回 值 相 加 , 就 能 BA 2 OR 
= 、 ES M dd xis PA 
得 到 + 运算 符 的 计算 结果 。 该 结果 将 成 为 + 节点 的 eval 方法 uc 
的 返回 值 。 人 


遍历 抽象 语法 树 的 节点 









































(m 先 不 必 在 意 节点 对 象 的 类 型 ， 只 要 调用 它 提供 的 eval 方法 即 可 。 
回 因为 程序 会 自动 选择 与 该 类 相符 的 eval 方法 执行 对 吧 。 



































左 侧 的 叶 节 点 用 于 表示 整 型 字面 量 13 ,因此 它 的 eval 方法 将 返回 13。 该 对 象 的 eval 方法 
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如 下 所 示 。 


public Object eval (Environment env) { return value(); } 


value () 将 返回 该 对 象 表示 的 整 型 字面 量 13。 

与 右 侧 对 应 的 是 一 个 * 运算 符 。 其 eval 方法 与 + 运算 符 类 似 ， 不 过 最 后 进行 的 是 乘法 运 
算 。 通 常 ， 如 果 一 个 子 节点 含有 子 节 点 ， 它 的 eval 方法 将 递归 调用 其 子 节点 的 eval 方法 。 因 
此 ， 只 要 沿 着 eval 方法 的 调用 顺序 ， 就 能 实现 从 抽象 语法 树 根 节点 至 叶 节 点 的 遍历 。eval 方 
法 的 这 种 调用 方式 类 似 于 深度 优先 树 节 点 搜索 算法 。 

Stone 语言 这 类 支持 变量 的 程序 设计 语言 会 将 环境 对 象 ( environment ) 传递 给 eval 方法 的 
参数 。 简 单 来 讲 ， 环 境 对 象 指 的 是 一 种 用 于 记录 变量 名 称 与 值 的 对 应 关系 的 数据 结构 ， 它 常 以 哈 
希 表 的 形式 实现 。 当 程序 中 出 现 新 变量 时 ， 由 该 变量 的 名 称 与 初始 值 构成 的 名 值 对 将 被 添加 至 哈 
希 表 ， 之 后 再 次 遇 到 这 一 变量 时 ， 程 序 将 搜索 哈 希 表 并 取得 其 值 。 如 果 要 赋 新 值 给 该 变量 ， 程 序 
将 会 把 原 有 变量 的 名 值 对 更 新 为 新 的 数据 。 


SSH EO MANR Enviroenment.java 


package chap6; 


























public interface Environment { 
void put(String name, Object value); 
Object get(String name); 


) 





让 于 证 亚 现 ”环境 对 象 的 类 BasicEnv.java 


package chap6; 
import java.util.HashMap; 





public class BasicEnv implements Environment { 
protected HashMap«String,Object» values; 
public BasicEnv() { values = new HashMap«String,Object»(); } 
public void put (String name, Object value) { values.put(name, value); } 
public Object get(String name) { return values.get(name); } 


) 
























































T i b 
| B 这 里 有 一 点 一 定 要 记 住 ， 哈 希 表 的 键 并 不 是 变量 本 身 ， 而 是 变量 的 名 称 。 | 
变量 与 变量 的 名 称 这 两 者 没 多 大 区 别 呀 。 
O 如 果 变 量 是 一 种 键 ， 变 量 的 定义 就 会 有 些 问题 了 。 因 此 我 们 把 程序 中 出 现 的 名 称 ( 标识 符 ME 
| “为 哈 希 表 的 键 。 这 些 名 称 显然 是 一 些 单词 ， 因 此 我 们 不 用 担心 术语 的 定义 会 产生 偏差 。 。 |) 


~- 




















































































































代码 清单 6.1 与 代码 清单 6.2 是 环境 对 象 的 实现 。 实 现 思路 非常 直接 ， 环 境 对 象 通过 哈 希 表 为 
变量 的 名 称 与 值 建立 了 对 应 关系 。pnut 方法 用 于 添加 新 的 名 值 对 ，get 方法 则 能 够 以 名 称 为 键 搜 
索 哈 希 表 。 
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6.2 N 各 种 类 型 的 eval 方法 
代码 清单 6.3 总 结 了 抽象 语法 树 的 节点 类 中 新 添加 的 eval 方法 。 所 有 的 类 共用 一 个 
父 类 AsTree， 首 先 需要 为 这 个 类 添加 抽象 方法 eval， 之 后 各 个 子 类 再 分 别 履 盖 这 一 方 


| 
法 。eval 方法 的 参数 是 环境 对 象 ， 即 Environment 对 象 。 方 法 的 返回 值 是 一 个 Object 类 型 





HITÉT 结果 。 
代码 清单 6.3 看 似 有 些 古怪 。 代 码 清 单 63 将 eval 方法 定义 为 了 需要 添加 该 方法 的 类 的 子 类 
方法 。 例 如 ， 本 应 属于 ASTree 类 的 eval 方法 的 定义 出 现 于 ASTree 的 子 类 ASTreeEx 类 中 。 
之 所 以 这 样 做 ， 是 为 了 使 用 名 为 GluonJ 的 系统 来 实现 解释 器 。eval 方法 看 似 定 义 
T ASTreeEx 类 中 ， 其 实 该 类 的 定义 将 被 替换 ，eval 方法 实际 上 将 由 ASTree 类 定义 。 其 他 类 
的 eval 方法 同样 如 此 。GluonJ 将 自动 完成 替换 工作 ， 于 是 代码 清单 6.3 所 写 的 程序 能 够 直接 编 
译 执行 。 本 章 之 后 将 对 此 作 详 细 说 明 。 
首先 ， 我 们 来 看 一 下 eval 方法 的 内 容 。 




















(a 代码 清单 6.3 看 起 来 有 点 怪 啊 。 上 一 章 里 的 Parser 库 也 好 ， 现 在 的 GluonJ 也 好 ， 使 



































奇 的 东西 还 真 多 呀 。 


| O GluonJ 可 是 我 们 研究 室 自己 开发 的 哦 ， 也 算是 一 种 宣传 吧 。 
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MALEREI 新 增 的 eval 方 法 ( BasicEvaluator.java ) 





package chap6; 


import 
import 
import 
import 
import 


javassist.gluonj.*; 
stone.Token; 
stone.StoneException; 
stone.ast.*; 
java.util.List; 


GReviser public class BasicEvaluator { 
public static final int TRUE - 1; 
public static final int FALSE - 0; 
GReviser public static abstract class ASTreeEx extends ASTree { 


) 


public abstract Object eval(Environment env); 


GReviser public static class ASTListEx extends ASTList { 


) 


public ASTListEx(List«ASTree» c) { super(c); ] 
public Object eval(Environment env) { 
throw new StoneException("cannot eval: " + toString(), this); 


) 


GReviser public static class ASTLeafEx extends ASTLeaf { 


) 


public ASTLeafEx(Token t) { super(t); ] 
public Object eval(Environment env) { 
throw new StoneException("cannot eval: " + toString(), this); 


) 


GReviser public static class NumberEx extends NumberLiteral ( 
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public NumberEx(Token t) ( super(t); } 
public Object eval(Environment e) { return value(); } 
) 
GReviser public static class StringEx extends StringLiteral { 
public StringEx(Token t) ( super(t); } 
public Object eval(Environment e) { return value(); } 
) 
GReviser public static class NameEx extends Name { 
public NameEx(Token t) ( super(t); } 
public Object eval(Environment env) ( 
Object value = env.get(name()); 
if (value -- null) 
throw new StoneException("undefined name: " + name(), this); 
else 
return value; 


) 
} 


@Reviser public static class NegativeEx extends NegativeExpr { 
public NegativeEx (List<ASTree> c) { super(c); } 
public Object eval (Environment env) { 
Object v = ((ASTreeEx)operand()).eval(env); 
if (v instanceof Integer) 
return new Integer(-((Integer)v).intValue()); 
else 
throw new StoneException("bad type for -", this); 


} 
} 


GReviser public static class BinaryEx extends BinaryExpr { 
public BinaryEx(List«ASTree» c) ( super(c); } 
public Object eval(Environment env) { 
String op - operator(); 
if ("2".equals(op)) { 
Object right = ((ASTreeEx)right()).eval(env); 
return computeAssign(env, right); 


) 


else ( 
Object left = ((ASTreeEx)left()).eval(env); 
Object right - ((ASTreeEx)right()).eval(env); 


return computeOp(left, op, right); 


) 


protected Object computeAssign(Environment env, Object rvalue) { 
ASTree 1 = left(); 
if (l instanceof Name) { 
env.put(((Name)1).name(), rvalue); 
return rvalue; 
} 
else 
throw new StoneException("bad assignment", this); 
} 
protected Object computeOp (Object left, String op, Object right) { 
if (left instanceof Integer && right instanceof Integer) { 
return computeNumber((Integer)left, op, (Integer)right); 


) 


else 
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if (op.equals("«")) 
return String.valueOf(left) + String.valueOf (right); 


else if (op.equals("--")) ( 
if (left -- null) 
return right -- null ? TRUE : FALSE; 
else 


return left.equals(right) ? TRUE : FALSE; 
) 
else 
throw new StoneException("bad type", this); 
} 
protected Object computeNumber(Integer left, String op, Integer right) { 
int a = left.intValue(); 
int b - right.intValue(); 
if (op.equals ("+")) 
return a + b; 
else if (op.equals("-")) 
return a - b; 
else if (op.equals("*")) 
return a * b; 
else if (op.equals("/")) 
return a / b; 
else if (op.equals("$")) 
return a $ b; 
else if (op.equals("-z")) 
return a -- b ? TRUE : FALSE; 
else if (op.equals("»")) 
return a » b ? TRUE : FALSE; 
else if (op.equals("«")) 
return a < b ? TRUE : FALSE; 











else 
throw new StoneException("bad operator", this); 


} 
} 


GReviser public static class BlockEx extends BlockStmnt { 
public BlockEx(List«ASTree» c) ( super(c); } 
public Object eval(Environment env) { 

Object result - 0; 
for (ASTree t: this) { 
if (!(t instanceof NullStmnt)) 
result - ((ASTreeEx)t).eval(env); 
} 
return result; 
} 
} 


@Reviser public static class IfEx extends IfStmnt { 
public IfEx(List<ASTree> c) { super(c); } 
public Object eval (Environment env) { 





Object c = ((ASTreeEx)condition()).eval(env); 

if (c instanceof Integer && ((Integer)c).intValue() !- FALSE) 
return ((ASTreeEx)thenBlock()).eval(env); 

else { 


ASTree b - elseBlock(); 
if (b == null) 
return 0; 
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else 
return ((ASTreeEx)b).eval(env); 


} 
} 


@Reviser public static class WhileEx extends WhileStmnt { 
public WhileEx(List<ASTree> c) { super(c); } 
public Object eval (Environment env) { 
Object result = 0; 


for (;;) { 
Object c = ((ASTreeEx)condition()).eval(env); 
if (c instanceof Integer && ((Integer)c).intValue() == FALSE) 
return result; 
else 
result - ((ASTreeEx)body()).eval(env); 





抽象 语法 树 各 节点 类 的 eval 方法 将 计算 与 该 节点 对 应 的 表达 式 或 语句 的 值 并 返回 。 例 如 ， 
抽象 语法 树 中 表示 整 型 字面 量 的 叶 节点 是 一 个 Numbezr 对 象 ， 它 的 eval 方法 将 返回 与 之 对 应 的 
整 型 字面 量 。 用 于 表示 表达 式 中 出 现 的 变量 名 的 叶 节 点 是 Name 类 的 对 象 。 这 类 对 象 的 eval Y 
法 将 查找 通过 参数 传递 的 环境 ， 并 返回 该 变量 的 值 。 环 境 则 是 一 个 Environment 对 象 ， 它 将 调 
用 自身 的 get 方法 来 查找 变量 。 如 果 变 量 名 不 存在 ， 就 表示 程序 尚未 定义 该 变量 ， 此 时 系统 将 


抛 出 一 个 异常 。 


大 部 分 eval 方法 都 会 在 节点 包含 子 节点 时 递归 调用 子 节点 的 eval 方法 。 例 如 ， 单 目 减 法 
运算 表达 式 的 节点 对 象 是 一 个 Negative 类 的 对 象 。 该 节点 含有 一 个 子 节点 ， 用 于 表示 减 号 右 
侧 的 子 表达 式 。 该 对 象 的 operanda 方法 能 够 获得 这 一 子 节 点 。Negative 类 的 eval 方法 将 会 
递归 调用 子 节点 的 eval 方法 ,改变 返 回 值 的 正 负 号 之 后 ， 再 将 该 值 作为 自身 的 返回 值 返回 。 

含有 = 运算 符 的 赋值 表达 式 是 一 个 例外 ， 它 不 会 递归 调用 子 节点 的 eval 方法 。 双 目 运算 符 
的 节点 对 象 是 一 个 BinaryExpr 类 的 对 象 。BinaryExpr 类 的 eval 方法 在 遇 到 = 运算 符 时 将 
做 特殊 处 理 。 

赋值 表达 式 的 右 侧 的 值 能 够 由 eval 方法 计算 得 到 ， 左 侧 则 不 行 。 左 侧 的 值 需 要 由 一 种 名 为 
左 值 (L-value ) 的 特殊 表达 式 计算 。 左 值 是 右 侧 的 值 的 赋值 对 象 ， 无 法 通过 eval 方法 算得 。 例 
如 ， 赋 值 表 达 式 a-7 中 ， 对 左 侧 表达 式 调用 eval 方法 的 结果 是 变量 a 的 当前 值 。 该 结果 不 同 于 
左 值 ， 并 不 是 表达 式 新 赋 给 a 的 值 。 













































































( B 赋 信 表达 式 的 左 侧 并 不 是 一 个 表达 式 。 1] 
D] 不 过 从 语法 规则 上 来 看 ， 左 侧 的 也 算是 一 种 表达 式 ( expr ) 呢 。 
B 这 是 因为 如 果 它 在 语法 上 也 不 是 一 种 表达 式 的 话 ， 语 法 分 析 就 会 变 得 相当 麻烦 。 为 了 方便 实 
现 ， 我 们 放宽 了 语法 规则 的 限制 ， 只 在 eval 方法 中 判断 运算 符 左 侧 的 是 否 是 一 种 表达 式 。 
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在 赋值 表达 式 左 侧 不 是 一 个 变量 时 ，Stone 语言 将 报 运行 错误 ， 反 之 则 会 通过 特殊 的 方式 计 
算 左 值 。 计 算得 到 的 左 值 将 更 新 环境 中 的 数据 。 不 过 ， 并 不 是 说 表达 式 中 包含 变量 时 解释 顺 就 
一 定 会 以 左 值 形式 计算 该 变量 。 在 普通 的 表达 式 ( 例如 赋值 表达 式 右 侧 的 子 表达 式 ) 中 出 现 变 量 
时 ， 解 释 器 将 调用 eval 方法 计算 该 变量 的 值 。 此 时 调用 的 是 Name 类 的 eval Ji. REESE 
查找 环境 ， 返 回 与 变量 名 对 应 的 值 。 












































































































































( 回 eval 方法 计算 的 是 右 值 ( R-value ) 对 吧 。 ) 
B 没 错 ， 必 须 明 确 区 分 左 值 和 右 值 。 
右 值 是 ? 
D 简单 地 说 ， 右 值 就 是 表达 式 的 计算 结果 。 如 果 它 是 一 个 变量 ， 右 值 就 是 变量 的 值 。 

(m 话说 回来 ，if 语句 、while 语句 的 eval 方法 会 返回 怎样 的 值 呢 ? J 














抽象 语法 树 的 节点 不 但 可 以 表示 表达 式 ， 也 能 表示 if 语句 或 while 语句 之 类 的 语句 。 这 
类 节点 的 eval 方法 将 返回 最 后 执行 的 代码 块 的 计算 结果 ， 即 最 后 调用 的 代码 块 的 eval 方法 的 
返回 值 。 我 们 来 看 一 下 IfStmnt 类 与 WhileStmnt 类 的 eval 方法 。 可 以 看 到 ， 代 码 块 的 计算 
结果 就 是 最 后 执行 的 语句 (或 表达 式 ) 的 计算 结果 。 在 Stone 语言 中 ， 程 序 无 论 执行 哪 种 类 型 的 
语句 ， 都 能 得 到 对 应 的 计算 结 

RAF, D IfStmnt 类 的 eval 方法 为 例 ， 它 将 首先 调用 condition 方法 ， 对 返回 的 
子 节点 递归 调用 eval 方法 。 最 终 得 到 的 返回 值 即 是 if 语句 中 条 件 表达 式 的 结算 结果 。 根 据 该 
结果 ， 程 序 将 选择 执行 对 应 的 代码 块 ， 并 调用 所 执行 代码 块 的 eval 方法 。 该 eval 方法 的 返回 
值 是 代码 块 中 最 后 一 条 语句 的 计算 结果 ， 它 也 是 IfStmnt 类 的 eval 方法 的 返回 值 。 



































(a 关于 if 语句 和 while 语句 的 条 件 表达 式 ， 我 看 了 IfStmnt 类 的 eval 方法 后 觉得 有 | 


















































哦 ， 我 知道 你 要 问 什 么 了 。 只 要 条 件 表达 式 的 计算 结果 是 一 个 字符 串 ， 就 将 始终 返回 真 。 这 
么 回答 能 理解 吗 ? 


O 我 现在 是 将 除了 0 之 外 的 整数 都 判 为 真 。 如 果 你 们 想 改 就 改 吧 。 | 

































































EX. 关于 GluonJ 

如 代码 清单 6.3 所 示 ， 本 书 没有 通过 直接 改写 抽象 语法 树 节 点 类 的 源 文件 来 添加 eval 方 
法 ， 而 是 专门 在 另 一 个 源 文件 中 定义 了 所 有 的 eval 方法 (及 相关 的 辅助 方法 )， 之 后 再 一 起 添加 
至 抽象 语法 树 的 各 个 类 中 。 这 样 一 来 ， 就 算 需 要 扩展 类 的 定义 ， 也 不 必修 改 原 有 的 类 。 为 了 实现 
这 种 设计 ， 本 书 使 用 了 由 笔者 及 合作 者 共同 开发 的 GluonJ 系统 。 为 了 使 用 GluonJ 提供 的 功能 ， 
代码 清单 6.3 使 用 了 Java 语言 来 标注 GReviser. 

Ruby 语言 和 Aspect] 语言 分 别 通过 名 为 开放 类 ( open class ) 与 类 型 间 ( intertype ) 声明 的 方 
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式 ， 来 实现 类 似 eval 方法 那样 的 定义 分 离 ， 方 法 将 在 其 他 源 文件 中 定义 。 不 过 可 惜 的 是 ，Java 
语言 没有 提供 这 样 的 功能 。 因 此 ， 本 书 使 用 了 GluonJ。 






































| Ei 前 面 也 提 到 ，GluonJ 是 我 们 研究 室 开发 的 ， 把 它 写 进 书 里 没 问题 吗 ? | 
El 仅 利 用 Java 语言 的 设计 模式 来 设计 程序 也 挺 好 的 不 是 吗 ? 
G 不 过 ， 使 用 GluonJ 的 话 ， 只 需 写 出 添加 的 方法 与 程序 中 有 改动 的 部 分 即 可 ， 读 起 来 更 加 容 
易 。 而 且 这 本 书 将 不 断 修改 并 扩展 程序 ， 这 种 方式 的 好 处 尤其 明显 。 
D 而 且 设计 模式 本 身 也 有 局 限 性 呢 。 
| Bl 的 确 。 对 这 个 问题 感 兴趣 的 读者 可 以 在 第 19 章 ( 第 19 天 ) 中 读 到 更 深入 的 说 明 。 
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在 GluonJ 中 , PRA eReviser WJZSEK E Pit ( reviser )。 修 改 器 看 起 来 和 子 类 很 相似 ， 实 
则 不 然 ， 它 将 直接 修改 (revise ) 所 继承 的 类 的 定义 。 

代码 清单 6.3 中 ，BasicEvaluator 类 是 一 个 标 有 eReviser 的 修改 器 。 不 过 由 于 它 没有 
继承 其 他 类 ， 因 此 没有 修改 任何 的 类 。 该 类 内 部 和 髓 套 定义 多 个 子 类 ， 这 些 修改 器 将 直接 修改 其 他 
的 类 的 定义 。BasicEvaluator 修改 器 用 于 将 内 部 的 多 个 修改 器 打包 为 一 个 整体 。 

BasicEvaluator Š D E Tuae eReviser 的 修改 器 。 这 些 修 改 顺 继承 了 其 
他 的 类 ， 并 能 直接 修改 那些 类 的 定义 。 骨 套 的 子 类 修改 需 必 须 以 static 方式 定义 。 如 果 需 要 修 
改 的 类 包含 构造 水 数 ， 修 改 右 必须 提供 具有 相同 签名 的 构造 函数 。 如 果 需 要 修改 的 类 含有 多 个 签 
名 不 同 的 构造 汕 数 ， 修 改 器 必须 提供 同样 多 个 构造 函数 。 

修改 器 中 的 方法 与 字段 将 被 直接 添加 至 需要 修改 的 类 的 定义 中 。 如 果 该 类 中 已 经 存在 同名 方 
法 ， 它 将 被 蔡 换 为 修改 器 提 供 的 版 本 (也 能 通过 super 调用 原 有 方法 )，、 因 此 ， 如 果 读 者 不 希望 
通过 GluonJ 来 执行 本 书 中 的 程序 ， 只 需要 直接 将 修改 器 中 的 方法 复制 粘贴 到 需要 修改 的 类 的 源 
代码 中 即 可 。 















































(a 如 果 要 修改 的 类 与 修改 器 中 含有 同名 的 方法 ， 在 复制 粘贴 时 就 不 得 不 小 心 才 行 。 j 
回 咽 ， 是 指 将 修改 器 的 方法 覆盖 原来 的 类 的 方法 的 时 候 对 吧 。 
D 这 种 情况 下 ， 必 须 先 修改 原来 的 类 中 的 方法 名 ， 以 使 名 称 不 重复 ， 之 后 再 复制 粘贴 修改 器 中 

的 方法 。super 调用 也 需要 据 此 修改 。 
O 如 果 用 传统 的 open class 的 话 ， 是 不 是 能 直接 覆盖 同名 方法 的 ? 
图 咖 ， 没 什么 问题 。 
O 不 过 那 是 Ruby 语言 了 呀 。 要 说 传统 的 方法 ， 应 该 用 MultiJava 来 实现 。 不 过 MultiJava 中 的 
| open class 是 不 能 覆盖 的 ， 只 能 新 增 。 J 
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代码 清单 6.3 中 出 现 的 第 一 个 修改 嚣 ASTreeEx 向 ASTree 类 添加 了 一 个 Abstract 方 
法 eval。ASTreeEx 中 的 Ex 指 的 是 extend。 当 然 ， 修 改 器 的 名 称 不 一 定 必须 以 Ex 结尾 。 
其 他 的 修改 器 分 别 向 ASTree 类 的 各 个 子 类 添加 了 eval 方法 。 例 如 ，ASTListEx 类 是 
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一 个 ASTList 类 的 修改 器 。ASTListEx 向 ASTList 类 添加 了 一 个 eval 方 法。 因此 ， 尽 管 
代码 清单 42 中 原本 的 ASTList 类 没有 定义 eval 方 法 ， 解 释 器 也 能 够 对 AsTList 对 象 调 
用 eval 方法 。 














| D 老师 ， 子 类 与 修改 器 有 什么 区 别 ? j 
回 所 以 说 修改 器 就 相当 于 Ruby 语言 的 open class Wo 
O 如 果 是 AsTListEx 类 是 ASTLi st 类 的 子 类 ，ASTList 对 象 就 无 法 使 用 eval 方法 了 呢 。 
只 有 ASTListEx 对 象 才 可 以 。 
BI 比如 说 ， 


ASTList n - new ASTList(); 
int result - n.eval(); 





















































































































































这 段 程 序 会 在 调用 eval 方法 时 报错 。 因 为 eval 方法 只 存在 于 子 类 ASTListEx 中 。 
回 就 是 这 样 。 
B 如 果 AsTListEx 是 一 个 修改 器 ， 就 不 会 报错 了 对 吧 。 
(B 嗯 ， 只 是 如 果 希 望 代 码 能 正确 运行 ， 还 需要 进行 类 型 转换 。 ] 














不 过 ， 程 序 在 调用 通过 修改 器 添加 的 方法 时 ， 必 须 执 行 数 据 类 型 转换 。 例 如 ， 必 须 以 下 面 的 
方式 调用 ASTList 类 中 由 ASTListEx 修改 器 添加 的 eval 方法 。 


ASTList n = new ASTList(); 
int result - ((ASTListEx)n).eval(); 





需要 注意 的 是 ， 变 量 n 的 数据 类 型 为 AsTList。 像 这 样 调用 由 ASsTListBEx 修改 器 添加 
的 eval 方法 时 ， 必 须 显 式 地 执行 数据 类 型 转换 。 














fm n 是 一 个 ASTList 对 象 ， 通 常 的 Java iB EE RUPEE TUE SCHLBSUE, fe pica TOT 258) "n 
太一 样 。 
B 其 实 从 实现 的 角度 来 看 ， 修 改 器 也 是 子 类 的 一 种 。 只 不 过 修改 器 ( 修改 得 到 的 类 ) 中 的 new 表 
达 式 由 原 有 的 类 的 new 表达 式 衍生 ， 它 自动 改写 了 这 段 代 码 ， 使 它 能 够 生成 所 需 的 修改 器 。 
在 上 面 的 例子 中 ，new ASTList() 隐 式 地 调用 了 new ASTListEx()o 
(a 在 实际 使 用 中 ， 同 一 个 类 可 能 存在 多 个 不 同 的 修改 器 ， 情 况 会 更 加 复杂 些 。 | 


修改 器 在 调用 由 修改 需 添 加 的 方法 时 ， 必 须 进 行 数 据 类 型 转换 。 例 如 ， 代 码 清 单 6.3 
中 NegativeEx 修 改 融 的 eval 方 法 为 了 获取 操作 数 的 值 ， 将 像 下面 这 样 调用 操作 数 
的 eval 方法 。 


































































































Object v = ((ASTreeEx)operand()).eval(env); 


这 里 ,，operand 方 法 的 返回 值 为 ASTree 类型。 由 于 ASTree 类 的 eval 方 法 
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H ASTreeEx 修改 融 添 加 ， 因 此 必须 像 上 面 这 样 将 其 转换 为 ASTreeEx 类 型 之 后 才能 调 
用 eval 方法 。 



































| Bl 如果 使 用 专门 的 GluonJ 编译 器 ， 就 不 需要 加 上 这 些 类 型 转换 了 。 详 细 信息 请 见 第 18 章 (第 | 























18 天 )。 
O 这 有 点 像 是 Java 语言 在 引入 泛 型 ( generics ) 之 前 的 List 类 型 ， 每 次 都 不 得 不 转换 类 型 才能 
使 用 。 




















回 不 过 ， 如 果 不 使 用 GluonJ， 仅 复制 粘贴 本 书 的 代码 运行 ， 就 不 需要 使 用 这 些 类 型 转换 了 。 
回 的 确 如 此 。 只 要 向 ASTree 类 添加 了 eval 方法 ， 就 能 像 下 面 这 样 直接 调用 。 

































































L Object v - operand().eval (env); J 








ISh, WRM k a u E KPD, Zm A TAN e Dun, [E 
设 ASTree 类 已 经 定义 了 eval 方 法 ， 之 后 ASTreeEx 修改 需 又 覆盖 了 该 方法 ， 在 调 
用 ASTree 对 象 的 eval 方法 时 不 需要 事先 转换 对 象 的 类 型 。 即 使 没有 类 型 转换 ， 程 序 也 会 调用 
由 ASTreeEx 修改 需 重 新 定义 的 eval 方法 。 


EZh. scm 

eval 方法 是 Stone 语言 解释 器 的 核心 。 完 成 了 eval 方法 的 实现 之 后 ， 解 释 器 只 要 读 取 程 
序 并 调用 eval 方法 ， 就 能 执行 Stone 语言 程序 。 

代码 清单 6.4 是 解释 器 的 主体 程序 。 解 释 器 通过 对 话 框 读 取 程序 后 ， 词 法 分 析 器 与 语法 分 析 
器 将 构造 抽象 语法 树 ， 调 用 eval 方法 来 获取 计算 结果 并 显示 。 直 到 用 户 按 下 返回 键 ， 该 操作 将 
不 断 重 复 。 

由 于 Stone 语言 的 解释 器 使 用 了 GluonJ， 因 此 必须 在 启动 时 执行 代码 清单 6.5 中 的 程序 。 该 
程序 将 用 修改 器 修改 相关 的 类 ， 最 后 执行 解释 器 。 代 码 清单 6.5 中 Loader 类 的 run 方法 将 调 
用 它 的 第 1 个 参数 接收 的 类 的 main 方法 ,执行 程序 。run 方法 的 第 2 个 参数 是 一 个 运行 参数 ， 
将 直接 传递 给 第 1 个 参数 收 到 的 main 方法。 第 3 个 参数 是 执行 程序 所 需 的 修改 器 ， 它 是 一 个 可 
变 长 参数 ， 能 指定 任意 多 个 修改 器 。 所 有 指定 的 修改 器 都 完成 修改 后 ，main 方法 将 被 调用 。 










































































图 在 执行 代码 清单 6.5 时 ， 必 须 在 类 路 径 中 包含 gluonj .jar 才 行 。 | 
回 老师 ， 这 类 细节 问题 也 详细 讲 讲 吧 ? 
(B 那 我 在 第 18 章 ( 第 18 天 ) 中 总 结 一 下 好 了 。 











WEEK Stone 语言 的 解释 器 Basiclnterpreterjava 


package chap6; 
import stone.*; 
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import stone.ast.ASTree; 
import stone.ast.NullStmnt; 


public class BasicInterpreter ( 
public static void main(String[] args) throws ParseException { 
run (new BasicParser(), new BasicEnv()); 


public static void run(BasicParser bp, Environment env) 
throws ParseException 


Lexer lexer - new Lexer(new CodeDialog()); 
while (lexer.peek(0) !- Token.EOF) ( 
ASTree t - bp.parse(lexer); 
if (!(t instanceof NullStmnt)) ( 
Object r - ((BasicEvaluator.ASTreeEx)t).eval(env); 
System.out.println("-» " + r); 





接 下 来 ， 让 我 们 试 着 执行 一 些 Stone 语言 写成 的 程序 吧 。 执 行 代码 清单 6.5 中 的 程序 后 ， 将 
显示 一 个 对 话 框 ， 用 于 输入 程序 语句 。 在 输入 代码 清单 6.6 中 的 Stone 语言 程序 后 点 击 Ok 键 即 
可 执行 。 


aci e) 解释 器 启动 程序 Runner.java 


package chap6; 
import javassist.gluonj.util.Loader; 





public class Runner { 
public static void main(String[] args) throws Throwable { 
Loader.run(BasicInterpreter.class, args, BasicEvaluator.class); 


) 


AREA Stone 语言 示例 程序 





Sum = 0 

4 wd 

while i < 10 { 
sum = sum + i 
i-i-41 

} 

sum 





程序 执行 结果 如 图 6.2 所 示 ， 在 程序 代码 之 后 将 显示 多 行 计算 结果 。 之 所 以 会 这 样 ， 是 因 
为 每 一 条 语句 都 会 在 执行 后 输出 结果 。 第 3 行 显示 的 是 整个 while 语句 的 计算 结果 。 最 后 一 行 
是 sum 的 值 ， 即 1 至 9 相 加 的 和 。 
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f D 终于 完成 啦 ! 

不 算 Parser 库 的 话 ， 整 个 解释 器 只 有 七 八 百 行 代码 ， 够 简单 吧 ? 
ll 不 过 现在 还 不 支持 函数 呢 。 
不 急 ， 下 一 章 就 会 加 上 这 个 功能 。 















































区 Problems | @ Javadoc |), Declaration | 4? Search | 园 Console zi 
«terminated» Runner [Java Application] /System/Library/Frameworks /)à 








i-i-41 














到 ”执行 结果 
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7 添加 函数 功能 





前 6 章 设 计 的 Stone 语言 虽然 支持 if 或 while 等 控制 语句 ， 但 不 能 使 用 函数 或 子 程序 
(procedure) 等 语法 功能 。 本 章 将 为 Stone 语言 添加 函数 功能 。 此 外 ， 除 了 基本 的 末 数 定义 与 调 
用 执行 ,本章 还 会 引入 名 为 财 包 ( closure ) 的 语法 功能 ， 使 Stone 语言 可 以 将 变量 赋值 为 函数 ， 
或 将 函数 作为 参数 传递 给 其 他 函数 。 

| 





























F 
g 
an 
GG 
H 
^2 


| B 与 其 说 是 添加 函数 功能 ， 不 如 说 是 添加 子 程 
D 按照 C 语言 的 习惯 ， 这 些 就 是 函数 。 
D 不 过 有 些 语言 会 将 有 返回 值 的 归 为 函数 ， 没 有 返回 值 的 归 为 子 程序 呢 。 
[3 本 书 暂且 规定 Stone 语言 的 函数 必定 有 返回 值 。 
| Bi 用 函数 这 个 词 也 没 问题 喧 ， 也 没什么 坏处 。 J 


































































































































































































EA. 扩充 语法 规则 

首先 ， 让 我 们 来 讨论 一 下 函数 定义 语句 的 语法 规则 。 本 书 将 函数 定义 语句 称 为 aef i 
^], def 语句 仅 能 用 于 最 外 层 代 码 。 也 就 是 说 ， 用 户 无 法 在 代码 块 中 定义 函数 。 

例如 ， 下 面 的 代码 定义 了 函数 facto 


def fact (n) ( 














Eoo 

while n > 0 { 
B oS ge S ia 
panee I 

} 

E 


与 Java 语言 不 同 ，Stone 语言 没有 return 语句 。 代 码 块 中 最 后 执行 的 语句 (表达 式 ) 的 计 
算 结 果 将 作为 函数 的 返回 值 返回 。 该 函数 可 以 按 以 下 方式 调用 。 该 例 在 调用 函数 fact 时 传人 了 
一 个 参数 95 








fact(9) 





如 果 和 希望 以 9 为 参数 调用 函数 fact 并 将 返回 值 赋 值 给 n， 则 可 以 按 下 面 这 样 书写 代码 。 


n = fact(9) 
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其 中 ， 括 号 内 写 有 的 是 函数 的 实 参 ( 如 果 需 要 多 个 实 参 ， 则 用 逗号 分 隔 )。 

如 果 语 句 只 调用 了 一 个 函数 ， 即 该 函数 不 是 其 他 更 复杂 的 表达 式 的 组 成 部 分 且 不 会 产生 收 
义 ， 实 参 两 侧 的 括号 就 能 省 略 。 也 就 是 说 ， 仅 含 函 数 调用 的 语句 无 需 用 括号 标识 实 参 。 

HA, KZE fact 能 够 以 以 下 方式 调用 。 


fact 9 




















如 果 存 在 多 个 实 参 ， 则 应 像 下 面 这 样 用 去 


qn 
E: 
E: 
o 



































xiii 








| Bl 能 不 能 扩大 括号 省 略 的 范围 呢 ? 现在 这 种 设 定 下 ， \ 


m o= eae N 











是 会 报错 的 吧 。 这 里 的 括号 不 能 省 略 。 
D 咽 ， 这 还 真是 不 方便 。 
B 不 ， 这 里 不 会 报错 ， 解 释 器 会 作 如 下 的 理解 : 


(n = fact) (9) 













































































D] 也 就 是 说 ， 首 先 fact 将 被 赋值 给 n， 然 后 以 9 为 实 参 调 用 是 吗 ? 

D 原来 不 是 将 fact (9) 的 返回 值 赋值 给 n 啊 。 

O 我 虽然 也 想 那么 做 ， 但 这 样 一 来 ， 语 法 就 会 产生 歧义 ， 不 利于 语法 分 析 。 比 如 ， 下 面 这 样 的 
表达 式 语句 不 会 调用 函数 fact， 而 是 会 计算 fact 减 去 9 的 值 。 












































T. 



























































fact -9 








B xq, Æ Ruby 语言 里 fact -9 的 调用 方式 也 没 问 题 呢 。 
| Bi 错 是 没 错 ， 但 要 注意 ， 写 成 fact - 9 的 话 就 会 报错 了 。- 与 9 之 问 不 能 有 空格 。 | 
































N 

















MALNETA SAAKI AN 





param : IDENTIFIER 

params : param ( "," param } 

param list : "(" [ params ] ")" 

def : "def" IDENTIFIER param list block 

args : expr ( "," expr } 

postfix : "(" [ args ] ")" 

primary : ( "(" expr ")" | NUMBER | IDENTIFIER | STRING ) { postfix } 
simple : expr [ args ] 

program : [ def | statement ] (";" | EOL) 


代码 清单 7.1 以 BNF 形式 定义 了 上 述 语法 规则 。 这 里 只 显示 了 与 代码 清单 5.1 不 同 的 部 分 。 
本 章 新 增 了 大 量 的 非 终 结 符 , 代码 清单 5.1 已 有 的 primary、simple 及 program 的 定义 也 得 到 
了 更 新 。 

形 参 param 是 一 种 标识 符 ( 变量 名 )。 形 参 序列 params 至 少 包含 一 个 param， 各 个 参数 之 





图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) 专 享 尊重 版 权 


78 第 7 天 添加 函数 功能 








[Hii M. param list 可 以 是 以 括号 括 起 的 params， 也 可 以 是 空 括号 对 () o ARGEX 
语句 def 由 def、 标 识 符 ( 函数 名 ) param list 及 block 组 成 。 实 参 args 由 若干 个 通过 过 
号 分 隔 的 expr 组 成 。postfix 可 以 是 以 括号 括 起 的 args, 也 可 以 是 省 略 了 args 的 空 括号 对 。 

非 终结 符 primary 需要 在 原 有 基础 上 增加 对 表达 式 中 含有 的 机 数 调用 的 文 持 。 因 此 ， 本 
章 修 改 了 代码 清单 351 中 primary 的 定义 。 在 原先 的 primary 之 后 增加 若干 个 (可 以 为 
0) postfix( 后 级 ) 得 到 的 依然 是 一 个 primary。 这 里 的 postfix 是 用 括号 括 起 的 实 参 序 列 。 

此 外 ， 表 达 式 语句 simple 也 需要 文 持 函数 调用 语句 。 因 此 ， 本 章 修 改 了 之 前 的 定义 ， 
使 simple 不 仅 能 由 expr 组 成 ，expr 后 接 args 的 组 合 也 是 一 种 simple 语句 。 

与 primary 不 同 ，simple 不 支持 由 括号 括 起 的 实 参 args。 也 就 是 说 ， 


Ehe s esee [| "(" [| guess J 99 ] 





























是 不 正确 的 。 应 该 使 用 下 面 的 形式 。 


Simple expr esci SET 


现在 的 语法 分 析 规 则 还 支持 下 面 这 样 的 表达 式 语 句 。 


REENE x 





TExx desir, PRU dS m dnx. HIT fact (9) 5 primary 的 模式 匹配 ， 
此 这 条 语句 能 顺利 通过 语法 分 析 。primary 既 可 以 是 factor， 也 能 是 exptr。 因 此 ， 这 条 语 
名 能 被 识别 为 仅 由 expr 构成 的 ， 省 略 了 args simple 模式 。 根 据 simple 的 语法 规则 ， 即 
fili expr 之 后 没有 连接 由 括号 括 起 的 实 参 也 不 会 有 问题 。 






































( D] 具体 该 怎样 实现 语法 分 析 器 呢 ? ) 














代码 清单 7.2 是 根据 代码 清单 7.1 的 语法 规则 设计 的 语法 分 析 程 序 。 其 中 FuncPatrset 类 
继承 于 第 5 章 代码 清单 5.2 中 的 BasicParsezr 类 。 也 就 是 说 ， 语 法 分 析 器 的 基本 部 分 利用 
了 BasicpParser 类 中 已 有 的 代码 ，FuncParser 类 仅 定 义 了 新 增 的 功能 。 和 之 前 一 样 ， 新 定 
义 的 非 终结 符 也 通过 Parser 库 实现 。 代 码 清 单 7.3、 代 码 清单 7.4 与 代码 清单 7.5 是 更 新 后 的 抽 
象 语 法 树 的 节点 类 。 

代码 清单 7.2 P, paramList 字段 与 postfix 字段 的 初始 化 表达 式 使 用 了 maybe 方法 。 
例如 ，paramList 字段 的 定义 如 下 所 示 。 








Parser paramList = rule().sep("(").maybe(params).sep(")"); 


与 option 方法 一 样 ，maybe 方法 也 用 于 向 模式 中 添加 可 省 略 的 非 终 结 符 。paramList 字 
段 对 应 的 非 终 结 符 param list 实际 的 语法 规则 如 下 所 示 。 





param list : "(" [ params ] ")" 
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括号 内 的 params 可 以 省 略 。 














D maybe ? 为 什么 起 这 样 一 个 方法 名 呀 ? j 
图 提 到 添加 可 省 略 成 分 的 方法 ， 一 般 就 是 指 option sk maybe [ UE, 
ll option 这 个 方法 名 来 源 于 Scala, maybe 则 来 自 Haskell 对 吧 ? 

(ER, TREH maybe 和 Haskell 里 的 并 不 是 同一 个 概念 。 J 







































































上 面 的 代码 中 没有 使 用 option 方法 ,而 使 用 了 maybe 方法 ， 因 此 即使 非 终 结 符 被 省 略 ， 
抽象 语法 树 中 也 会 包含 相应 的 子 树 来 表示 省 略 的 部 分 。 该 子 树 仅 由 一 个 根 节 点 构成 。 根 节点 对 象 
的 类 型 由 maybe 方法 的 参数 对 应 的 Parser 对 象 决 定 。 根 节点 对 象 与 创建 该 对 象 的 xule 方法 
的 参数 的 类 型 相同 。 

在 上 例 中 ， 因 省 略 params 而 创建 的 子 树 是 一 棵 以 ParameterList 对 象 为 根 节点 的 树 。 
根 节点 是 该 子 树 唯一 的 节点 ， 这 棵 子 树 除根 节点 外 没有 其 他 子 节点 。ParameterList (参数 列 
a) 对 象 的 子 节点 原本 用 于 表示 参数 ，params 被 省 略 时 ， 根 节点 的 子 节点 数 为 0 恰巧 能 够 很 
好 地 表示 没有 参数 。 

即使 params 被 省 略 ， 抽 象 语法 树 仍 将 包含 一 个 params 的 子 树 来 表示 这 个 实际 不 存在 的 
成 分 。 根 据 第 5 章 介 绍 的 特殊 规定 ， 为 了 避免 创建 不 必要 的 节点 ,与 params 对 应 的 子 树 将 直接 
作为 与 非 终 结 符 param list 对 应 的 子 树 使 用 。 














































































































O 使 用 maybe 之 类 的 方法 的 话 ， 很 难 判断 最 后 到 底 将 生成 怎样 一 棵 抽象 语法 树 对 吧 ? 
B 嗯 ， 要 是 能 再 改进 一 下 Parser 库 就 好 了 。 











非 终结 符 定 义 的 修改 由 构造 函数 完成 。 构 造 函 数 首 先 需 要 为 reserved 添加 右 插 号 ) ， 以 免 
将 它 识 别 为 标识 符 。 之 后 , primary 与 simple 模式 的 末尾 也 要 添加 非 终结 符 , 为 此 需要 根据 相 
应 的 字段 调用 合适 的 方法 。 例 如 ，simple 字段 应 调用 option 方法 。 
simple.option (args) ; 
通过 这 种 方式 ，option 方法 将 在 由 BasicParser 类 初始 化 的 simple 模式 未 尾 添 加 一 段 
新 的 模式 。 也 就 是 说 ，BasicParset 在 进行 初始 化 时 ， 将 不 再 执行 下 面 的 语句 。 


Parser simple = rule(PrimaryExpr.class).ast(expr); 





而 执行 如 下 代码 。 


Parser simple = rule(PrimaryExpr.class).ast(expr).option(args); 





构造 函数 的 最 后 一 行 调用 了 program 字段 的 ijnsertchoice 方法, 将 用 于 表示 def 话 
句 的 非 终 结 符 def 添加 到 了 program 中 。 该 方法 将 把 def 作为 or 的 分 支 选 项 ， 添 加 到 
与 program 对 应 的 模式 之 前 。program 字段 继承 于 BasicParser 类 ,原本 的 定义 如 下 所 示 。 
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Parser program - rule().or(statement, rule(NullStmnt.class)) 
.Sep(";", Token.EOL); 





通过 insertChoice 方法 添加 def JH. program 表示 的 模式 将 与 下 面 定 义 等 价 。 


Parser program - rule().or(def, statement, rule(NullStmnt.class)) 
.Sep(";", Token.EOL); 


4t LE aef， 表 达 式 中 or 的 分 文选 项 增加 到 了 3 个 。 新 增 的 选项 和 原 有 的 两 个 一 样 ， 都 
是 or 方法 的 直接 分 支 ， 语 法 分 析 咒 在 执行 语句 时 必须 首先 判断 究竟 选择 哪个 分 支 。 


下定 正 注 必 旨 支持 函数 功能 的 语法 分 析 器 FuncParser.java 


package stone; 

import static stone.Parser.rule; 
import stone.ast.ParameterList; 
import stone.ast.Arguments; 
import stone.ast.DefStmnt; 

















public class FuncParser extends BasicParser { 


Parser param - rule().identifier(reserved); 
Parser params - rule(ParameterList.class) 
.ast(param).repeat(rule().sep(",").ast(param)); 

Parser paramList - rule().sep("(").maybe(params).sep(")"); 

Parser def - rule(DefStmnt.class) 
.sep("def").identifier(reserved).ast(paramList).ast (block); 

Parser args - rule(Arguments.class) 
.ast(expr).repeat(rule().sep(",").ast(expr)); 

Parser postfix - rule().sep("(").maybe(args).sep(")"); 

public FuncParser() { 


reserved.add(")"); 
primary.repeat (postfix); 
simple.option(args); 
program.insertChoice (def); 





ER ParameterList.java 


package stone.ast; 
import java.util.List; 





public class ParameterList extends ASTList { 


public ParameterList(List«ASTree» c) ( super(c); } 
public String name(int i) ( return ((ASTLeaf)child(i)).token().getText(); } 
public int size() { return numChildren(); } 





MALENI DefStmnt.java 


package stone.ast; 
import java.util.List; 
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public class DefStmnt extends ASTList { 





public DefStmnt(List«ASTree» c) { super(c); } 
public String name() { return ((ASTLeaf)child(0)).token().getText(); } 
public ParameterList parameters() { return (ParameterList)child(1); } 


public BlockStmnt body() ( return (BlockStmnt)child(2); ] 
public String toString() { 
return "(def " + name() + " " + parameters() + " " + body() + ")"; 
} 
} 





ISCHIA] Arguments.java 


package stone.ast; 
import java.util.List; 





public class Arguments extends Postfix ( 
public Arguments (List«ASTree» c) { super(c); ] 
public int size() [ return numChildren(); ] 





EZ. (ERIS E3088 


为 了 能 执行 包含 函数 的 程序 ， 环 境 的 设计 与 实现 也 必须 做 一 些 相应 的 修改 。 环 境 是 变量 名 
与 变量 的 值 的 对 应 关系 表 。 大 部 分 程序 设计 语言 都 支持 仅 在 函数 内 部 有 效 的 局 部 变量 。 为 了 让 
Stone 语言 也 支持 局 部 变量 ， 我 们 必须 重新 设计 环境 。 

在 设计 环境 时 ， 必 须 考 虑 两 个 重要 的 概念 ， 即 作用 域 ( scope ) 与 生存 周期 ( extent )。 变 量 的 
作用 域 是 指 该 变量 能 在 程序 中 有 效 访问 的 范围 。 例 如 ，Java 语言 中 方法 的 参数 只 能 在 方法 内 部 
引用 。 也 就 是 说 ， 一 个 方法 的 参数 的 作用 域 限 定 于 该 方法 内 部 。 而 变量 的 生存 周期 则 是 该 变量 
存在 的 时 间 期 限 。 例 如 ，Java 语言 中 某 个 方法 的 参数 p 的 生存 周期 就 是 该 方法 的 执行 期 。 换 言 
之 ,参数 p 在 方法 执行 过 程 中 将 始终 有 效 。 如 果 该 方法 中 途 调用 了 其 他 方法 ， 就 会 离开 原 方法 
的 作用 域 ， 新 调用 的 方法 无 法 引用 原 方法 中 的 参数 p。 不 过 ， 虽 然 参 数 p 此 时 无 法 引用 ， 它 仍 会 
继续 存在 ， 保 存 当 前 值 。 当 程序 返回 原来 的 方法 后 ， 又 回 到 了 参数 p 的 作用 域 ， 将 能 够 再 次 引用 
参数 p。 引 用 参数 p 得 到 的 自然 是 它 原来 的 值 。 方 法 执行 结束 后 ， 参 数 p 的 生存 周期 也 将 一 同 结 
R, E) p 不 再 有 效 ， 环 境 中 保存 的 相应 名 值 对 也 不 复 存 在 。 事 实 上 ， 环 境 也 没有 必要 继续 保 
持 该 名 值 对 。 之 后 如 果 程 序 再 次 调用 该 方法 ， 参 数 p 将 与 新 的 值 ( 实 参 ) 关联 。 




















































































































pl 作用 域 的 概念 已 经 耳熟能详 ， 不 过 生存 周期 就 有 些 陌生 了 呢 。 | 
D 生存 周期 的 概念 可 以 以 C 语言 中 static 的 局 部 变量 为 例 说 明 。 它 的 作用 域 是 函数 内 部 ， 生 
存 周期 则 是 整个 程序 的 执行 期 。 
B 重要 的 是 ， 要 意识 到 变量 的 有 效 范 围 可 以 分 为 空间 范围 与 时 间 范 围 两 种 。 如 果 不 能 理 清 这 些 ， 
【在 实现 函数 功能 时 可 能 会 陷入 混乱 。 | 

































































































































































本 曹 之 后 的 主要 关注 点 是 如 何 修改 环境 以 支持 变量 作用 域 。 通 常 ， 变 量 的 作用 域 由 区 套 结构 
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实现 。Stone 语言 也 支持 在 整个 程序 中 都 有 效 的 全 局 变量 作用 域 及 仅 在 函数 内 部 有 效 的 局 部 变量 
与 函数 参数 作用 域 ， 后 者 包含 于 前 者 之 中 。 

为 表现 瞬 套 结构 ， 我 们 需要 为 每 一 种 作用 域 准备 一 个 单独 的 环境 ， 并 根据 需要 散人 套 环 境 。 在 
查找 变量 时 ， 程 序 将 首先 查找 与 最 内 层 作 用 域 对 应 的 环境 ， 如 果 没 有 找到 ， 再 接着 向 外 逐 层 查 
找 。 目 前 的 Stone 语言 尚 不 支持 在 函数 内 定义 函数 ， 因 此 仅 有 两 种 作用 域 ， 即 全 局 变量 作用 域 及 
局 部 变量 作用 域 。 而 在 支持 函数 内 定义 函数 的 语言 中 ， 可 能 存在 多 层 环境 想 套 。 

Java 等 一 些 语言 中 ， 大 括号 { } 括 起 的 代码 块 也 具有 独立 的 作用 域 。 代 码 块 中 声明 的 变量 只 
能 在 该 代码 块 内 部 引用 。Stone 语言 目前 没有 为 代码 块 设 计 专门 的 作用 域 ， 之 后 也 不 会 为 每 个 代 
码 块 提供 单独 的 作用 域 。 因 此 ，Stone 语言 将 始终 仅 有 两 个 作用 域 。 


















































( E 为 i 语句 与 while 语句 的 代码 块 增加 独立 的 作用 域 的 任务 ， 可 以 作为 读者 的 课 后 习题 。 “| 
E] 老师 ， 这 样 会 不 会 出 现下 面 这 样 的 代码 呀 ? 


def foo (x) ( 
de som qwe) 


























E 


) 








如 果 foo 的 参数 为 负 ， 程 序 就 会 因为 没有 定义 y 而 报错 。 
D 这 种 情况 下 ， 要 么 让 程序 在 参数 为 正 时 也 报错 ， 要 么 让 它 无 论 正 负 都 能 正常 执行 就 好 啦 。 
L 现在 不 必 考 虑 这 些 ， 把 这 个 也 留 作 课 后 习题 就 好 啦 。 






























































EA NestedEnv.java 


package chap7; 

import java.util.HashMap; 

import chap6.Environment; 

import chap7.FuncEvaluator.EnvEx; 





public class NestedEnv implements Environment { 
protected HashMap«String,Object» values; 
protected Environment outer; 
public NestedEnv() { this (null); } 
public NestedEnv (Environment e) { 
values = new HashMap«String,Object»(); 
outer - e; 
} 
public void setOuter(Environment e) ( outer = e; } 
public Object get(String name) { 
Object v = values.get (name); 
if (v == null && outer !- null) 
return outer.get (name); 
else 
return v; 
} 


public void putNew(String name, Object value) { values.put(name, value); } 
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public void put(String name, Object value) ( 
Environment e - where (name); 
if (e -- null) 
e - this; 
((EnvEx)e).putNew(name, value); 


) 


public Environment where(String name) ( 


if (values.get(name) !- null) 
return this; 

else if (outer -- null) 
return null; 

else 


return ((EnvEx)outer).where (name); 











Ar BERBRCPRECEBSMI, RITETE T Environment 接口 的 类 实现 。 代 码 清单 7.6 是 
今后 需要 使 用 的 NestedEnv 类 的 定义 。 

与 BasicEnv 类 不 同 ，NestedEnv 类 除了 value 字段 ， 还 有 一 个 outer 字段 。 该 字段 引 
用 的 是 与 外 侧 一 层 作 用 域 对 应 的 环境 。 此 外 ，get 方法 也 需要 做 相应 的 修改 ， 以 便 查找 与 外 层 作 
用 域 对 应 的 环境 。 为 确保 put 方法 能 够 正确 更 新 变量 的 值 ， 我 们 也 需要 对 它 做 修改 。 如 果 当 前 
环境 中 不 存在 参数 指定 的 变量 名 称 ， 而 外 层 作 用 域 中 含有 该 名 称 ，put 方法 应 当 将 值 赋 给 外 层 作 
用 域 中 的 变量 。 为 此 , 我 们 需要 使 用 辅助 方法 whnere。 该 方法 将 查找 包含 指定 变量 名 的 环境 并 返 
回 。 如 果 所 有 环境 中 都 不 含 该 变量 名 ，where 方法 将 返回 null. 

NestedEnv 类 提供 了 一 个 putNew 方法 。 该 方法 的 作用 与 BasicEnv 类 的 put 方法 相同 。 
也 就 是 说 ， 它 在 赋值 时 不 会 考虑 out er 字段 引用 的 外 层 作 用 域 环境 。 无 论 外 层 作 用 域 对 应 的 环 
境 中 是 否 存在 指定 的 变量 名 ， 只 要 当前 环境 中 没有 该 变量 ，putNevw 方法 就 会 新 增 一 个 变量 。 

此 外 ,为 了 能 让 NestedEnv 类 的 方法 经 由 Environment 接口 访问 ， 我 们 需要 向 
Environment 接口 中 添加 一 些 新 的 方法 。 在 下 一 节 中 ， 代 码 清 单 7.7 定义 的 FuncEvaluator 
修改 器 定义 了 一 个 EnvEx 修改 项， 它 添加 了 这 些 新 的 方法 。 
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| 回 作用 域 可 以 通过 环境 的 和 花 套 来 实现 ， 生 存 周期 该 怎么 处 理 才 好 呢 ? j 
加 生存 周期 可 以 通过 NestedEnv 对 象 的 创建 及 清除 ( 如 垃圾 回收 ) 时 机 来 控制 ， 不 过 现在 先 不 
用 考虑 。 | 














为 了 让 解释 器 能 够 执行 函数 ， 我 们 必须 为 抽象 语法 树 的 节点 类 添加 eval 方法 。 这 由 代码 清 
单 7.7 的 FuncEvaluator 修改 器 实现 。 











「 FuncEvaluator 修改 器 标 有 一 个 @Require， 这 是 什么 意思 ? ) 
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B 哦 ， 它 用 于 指定 该 修改 器 需要 用 到 的 其 他 修改 器 。 这 意味 着 程序 在 使 用 它 之 前 ， 需 要 首先 
应 用 BasicEvaluator 修改 器 。 如 果 需 要 用 到 多 个 修改 器 ， 可 以 写成 @Require({A. 
| class, B.class}) 的 形式 。 







































































函数 的 执行 分 为 定义 与 调用 两 部 分 。 程 序 在 通过 def 语句 定义 函数 时 ， 将 创建 用 于 表示 该 
函数 的 对 象 ， 向 环境 添加 该 函数 的 名 称 并 与 该 对 象 关联 。 也 就 是 说 ， 程 序 会 向 环境 添加 一 个 变 
量 , 它 以 该 对 象 为 变量 值 ， 以 函数 名 为 变量 名 。 函 数 由 Function 对 象 表示 。 代 码 清单 7.8 定义 


f Function 类 。 


在 调用 函数 时 ， 程 序 将 先 从 环境 中 获取 表示 函数 的 Function 对 象 。 之 后 ,程序 将 为 参 
数 及 局 部 变量 创建 新 的 环境 ， 计 算 参 数 的 值 并 添加 到 新 的 环境 中 。 新 创建 的 环境 的 外 层 环境 
由 outer 字段 表示 ， 它 记录 了 全 局 变量 。 最 后 ， 语 法 分 析 需 将 通过 Function 对 象 构造 函数 本 
身 的 抽象 语法 树 ， 并 在 刚才 创建 的 环境 中 执行 。 






























































| El 这 些 处 理 将 分 别 由 各 关 新 增 的 eval 方法 执行 。 | 








代码 清单 7.7 的 FuncEvaluator 修改 右 包 含 多 个 子 修改 带 。 其 中 ，DefSstmntEX 修改 央 
用 于 向 DefStmnt 类 添加 eval 方法 。 

DefStmnt 对 象 表示 def 语句 的 抽象 语法 树 。eval 方法 将 根据 形 参 序列 与 函数 体 创 建 表 示 
该 函数 的 Function MR, JfIBIEREEZSUB PRA E Function 对 象 组 成 的 值 组 。 函 数 名 称 同 
时 也 是 方法 的 返回 值 。 

PrimaryEx 修改 需 将 向 PrimaryExpr 类 添加 方法 。 函 数 调用 表达 式 的 抽象 语法 树 与 非 终结 
符 primary 对 应 。 非 终结 符 primary 原本 只 表示 字面 量 与 变量 名 等 最 基本 的 表达 式 成 分 ， 现 
在 ,我 们 将 修改 它 的 定义 ,使 函数 调用 表达 式 也 能 被 判断 为 一 种 primary。 即 primary 将 涵盖 
由 primary 后 接 括号 括 起 的 实 参 序列 
构成 的 表达 式 ， 图 7.1 是 一 个 例子 ， 它 。 单词 序列 fact ]( (J (9 0) 
是 由 子 数 调用 语句 £act (9) 构成 的 抽象 抽象 语法 树 
语法 树 。 为 了 文 持 这 一 修改 ， 我 们 需要 


、 ; KRAE E EE 
A] PrimaryExpr 类 添加 右 干 新 方法 。 operand postfix 
operand 7; ik Ft iR [nl JE 2€ 25 4] 


primary FIERI WTF iie 5 UAE 












































: PrimaryExpr 









































: Name : Arguments 
WA, WERKA. postfix HE ramet] 一 一 
返回 的 是 实 参 序列 ( 若 存在 )。eval 方 children 
法 将 首先 调用 operand 方法 返回 的 对 
象 的 eval 方法 。 如 果 函 数 存在 实 参 序 | DU 
value = 








jj, eval 方法 将 把 他 们 作为 参数 ， 进 
一 步调 用 postfix 方 法 (在 图 7.1 中 fact(9) 的 抽象 语法 树 
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Hl Arguments 对 象 ) 返回 的 对 象 的 eval 方法 。 















































D B 其 实 ， 如 果 表 达 式 末尾 没有 实 参 序列 ，PrimaryExpr 对 象 对 应 的 节点 将 被 省 略 ( 参见 第 ) 
5.3 节 )。 因 此 ， 无 论 如 何 PrimaryExpr 的 eval 方法 都 会 调用 postfix 方法 返回 的 对 象 
的 evalo 
好 绕 呀 。 
[i 要 说 绕 ， 后 面 我 们 马上 还 要 实现 闭 包 功 能 呢 。 这 样 解释 器 就 能 支持 形 如 foo (3) (4) 这 样 的 
表达 式 了 。 要 注意 的 是 ， 现 在 PrimaryExpr 类 的 eval 已 经 支持 这 种 写法 了 。 
回 postfix 方法 也 许 会 返回 多 个 对 象 呢 。 
O 如 果 返 回 了 多 个 对 象 ， 解 释 器 必须 依次 计算 其 中 包含 的 函数 调用 。 这 可 以 通过 递归 
用 evalSubExpr 方法 来 实现 。 
Bl evaisubExpr 的 参数 是 …… 环境 env EfUERÉ nest Ho nest 表示 的 是 现在 是 从 外 层 数 
起 的 第 几 次 函数 调用 对 吧 ? 
非 要 特地 用 递归 吗 ? 循环 不 就 好 了 ? 
[B 循环 当然 也 是 可 以 的 。 希 望 通过 循环 实现 时 ， 像 下 面 这 样 改写 PrimaryExpr 类 的 eval 方 
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法 即 可 。 
public Object eval(Environment env) { 
Object res - ((ASTreeEx)operand()).eval(env); 
int n - numChildren(); 
for (int uc. 1.3 ome des) 
res - ((PostfixEx)postfix(i)).eval(env, res); 


FECUENT TES 


|. | 


这 里 专门 设计 成 递归 形式 ， 是 为 了 今后 的 扩展 做 准备 。 


























PrimaryExpr 类 新 增 的 postfix 方法 的 返回 值 为 Postfix 类 型 。Postfix 是 一 个 抽象 类 
(代码 清单 7.9 )， 它 的 子 类 Arguments 类 是 一 个 用 于 表示 实 参 序列 的 具体 类 。ArgumentsEx 修 
改 器 为 Arguments 类 添加 的 eval 方法 将 实现 函数 的 执行 功能 。 















































| El 老师 ， 为 什么 postfix 方法 的 返回 值 类 型 不 是 Arguments 而 是 抽象 类 Postfix E? | 

B 该 怎么 解释 这 样 的 设计 呢 …… 恩 ， 比 方 说 ， 如 果 今 后 我 们 希望 让 Stone 语言 支持 数组 ， 就 只 
需要 为 Postfix 实现 一 个 类 似 于 ArrayRef 的 子 类 就 好 啦 。 

| Hl 器 ,原来 是 为 了 将 来 的 扩展 未 雨 纲 织 呀 。 | 






























































Arguments 类 新 增 的 eval 方法 是 函数 调用 功能 的 核心 。 它 的 第 2 个 参数 value 是 与 
函数 名 对 应 的 抽象 语法 树 的 eval 方法 的 调用 结果 。 和 希望 调用 的 函数 的 Function 对 象 将 作 
为 value 参数 传递 给 eval 方法 。Function 对 象 由 def 语 名 创建。 函数 名 与 变量 名 的 处 理 方 
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式 相 同 ， 因 此 解释 器 仅 需 调 用 eval 方法 就 能 从 环境 中 获取 Function 对 象 。 

之 后 ， 解 释 器 将 以 环境 callerEnv 为 实 参 计算 函数 的 执行 结果 。 首 先 ，Function 对 象 
HJ parameters 方法 将 获得 形 参 序列 ， 实 参 序 列 则 由 自身 提供 iterator 方法 获取 。 然 后 解释 
器 将 根据 实 参 的 排列 顺序 依次 调用 eval 并 计算 求 值 ， 将 计算 结果 与 相应 的 形 参 名 成 对 添加 至 环 
hifo ParameterList 类 新 增 的 eval 方法 将 执行 实际 的 处 理 。 























































































































了 
| li Stone 语言 和 Java 语言 一 样 ， 都 是 值 传递 ( cal-by-value ) 呢 。 | 
回 咽 。 即 使 是 像 fact (i) 这 样 只 有 1 个 实 参 的 情况 ， 解 释 器 也 一 定 会 计算 表达 式 i 的 值 ， 并 
L 将 计算 结果 ( 变量 i 的 值 ) 与 形 参 的 名 值 对 添加 到 环境 中 。 i 











实 参 的 值 将 被 添加 到 新 创建 的 用 于 执行 函数 调用 的 newEnv 环境 ， 而 非 callerEnv 环境 
( 表 7.1)。newEnyv 环境 表示 的 作用 域 为 函数 内 部 。 如 果 函 数 使 用 了 局 部 变量 ， 它 们 将 被 添加 到 
该 环境 。 





函数 调用 过 程 中 涉及 的 环境 









































































































































newEnv 调用 函数 时 新 创建 的 环境 。 用 于 记录 函数 的 参数 及 函数 内 部 使 用 的 局 部 变量 
newEnv.outer newEnv 的 outer 字段 引用 的 环境 ， 能 够 表示 函数 外 层 作 用 域 。 该 环境 通常 记录 全 局 变 
callerEnv 函数 调用 语句 所 处 的 环境 。 用 于 计算 实 参 





















































E, Arguments 类 的 eval 方法 将 在 新 创建 的 环境 中 执行 函数 体 。 也 数 体 可 以 通过 调 
用 Function XRH body 方法 获得 。 函 数 体 是 def 语句 中 由 大 括号 C) 括 起 的 部 分 ，body Jr 
法 将 返回 与 之 对 应 的 抽象 语法 树 。 调 用 返回 的 对 象 的 eval 方法 即 可 执行 该 函数 。 

用 于 调用 函数 的 环境 newEnv 将 在 函数 被 调用 时 创建 ， 在 函数 执行 结束 后 售 弃 。 这 与 函数 
的 参数 及 局 部 变量 的 生存 周期 相符 。 若 解释 器 多 次 递归 调用 同一 个 函数 ， 它 将 在 每 次 调用 时 创建 
新 的 环境 。 只 有 这 样 才能 正确 执行 函数 的 递归 调用 。 

在 调用 函数 时 ，newEnv 最 终 将 由 Function 对 象 的 makeEnv 方法 创建 。 创 建 得 到 的 环 
境 是 一 个 NestedEnv XZ, CH outer 字段 将 引用 与 外 层 作 用 域 对 应 的 环境 。 这 一 外 层 环境 
将 在 创建 Function 对 象 时 由 DefStmnt 类 的 eval 方法 传递 给 Function 类 的 构造 函数 。 它 
是 def 语句 的 执行 环境 ， 也 是 全 局 变量 的 保存 环境 。 





















































| B 现在 全 局 变量 必然 保存 在 这 个 环境 中 ， 不 过 添加 了 闭 包 功 能 后 就 不 一 定 了 。 ) 














有 了 时， 用 于 计算 实 参 的 环境 callerEnyv 与 执行 def 语句 的 是 同一 个 环境 ， 但 也 并 
非 总 是 如 此 。callerEnv 是 用 于 计算 调用 了 隐 数 的 表达 式 的 环境 。 如 果 在 最 外 层 代 码 
中 调用 函数 ，callerEnv 环境 将 同时 用 于 保存 全 局 变量 。 然 而 ， 如 有 果 函 数 由 其 他 函数 调 
H, callerEnv 环境 则 将 保存 调用 该 函数 的 外 层 函 数 的 局 部 变量 。 环 境 虽 然 支 持 瞬 套 结构 ,但 
该 结构 仅 反 映 了 函数 定义 时 的 作用 域 蔡 套 情况 。 在 函数 调用 其 他 函数 时 ， 新 创建 的 环境 不 会 出 现 
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在 这 样 的 能 套 结构 中 。 
































CN 








这 种 做 法 被 称 为 动态 作 











域 对 吧 ? 





有 些 人 习惯 将 新 创建 的 环境 的 outer 字段 始终 指向 callerEnv 环境 。 

















没 错 。 如 果 outer 字段 指 


向 的 是 def 语句 的 执行 环境 ， 则 称 


为 静态 作用 域 。Stone 语言 也 












































咽 ， 这 两 者 有 什么 区 别 呢 ? 
A 君 ， 要 自己 多 思考 才 行 啊 。 








好 ，Java 语言 也 好 ， 大 部 分 语言 都 采 








EH 
T 





了 静态 作用 域 。 




















O REE arguments 的 eval 方 ; 


( (EnvEx)newEnv).setOuter(cal 


这 样 一 条 语句 ， 就 外 





末尾 的 return 语句 前 插入 





lerEnv); 


测试 动态 作用 域 的 效果 了 了。 
门 来 试 试 从 函数 bar 中 调用 另 


























一 个 函数 foo 吧 。 当 要 在 foo 中 使 





变量 x 时 E 如 果 该 语 
















































































言 采 用 的 是 动态 作用 域 ， 且 bar 中 也 存在 变量 x， 则 foo 中 的 x 引用 的 不 再 是 foo 中 的 局 部 
变量 ， 而 是 bat 中 的 局 部 变量 xo 

X-1 

dete too NE NE 

def bar (x) ( £oo(x « 1) | 

bar (3) 


J 








对 于 上 述 代码 ， 如 果 是 动态 作用 域 ，bat ( 
的 x 将 引用 全 局 变量 x， 并 返回 结果 1。 


ES FuncEvaluator.java 





返回 值 将 为 3。 如 果 是 静态 作用 域 , foo 中 





package chap7; 

import java.util.List; 

import javassist.gluonj.* 

import stone.StoneException; 

import stone.ast.*; 

import chap6.BasicEvaluator; 

import chap6.Environment; 

import chap6.BasicEvaluator.ASTreeEx; 
import chap6.BasicEvaluator.BlockEx; 


GRequire (BasicEvaluator.class) 
GReviser public class FuncEvaluator { 


GReviser public static interface EnvEx extends Environment { 


void putNew(String name, 
Environment where(String name); 
void setOuter(Environment e); 


) 


Object value); 


GReviser public static class DefStmntEx extends DefStmnt { 


public DefStmntEx(List«ASTree» c) 


( super(c); ] 


public Object eval(Environment env) { 
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((EnvEx)env).putNew(name(), new Function(parameters(), body(), env)); 
return name(); 


) 
) 
GReviser public static class PrimaryEx extends PrimaryExpr { 
public PrimaryEx(List«ASTree» c) ( super(c); } 
public ASTree operand() ( return child(0); } 
public Postfix postfix(int nest) { 


return (Postfix)child(numChildren() - nest - 1); 
) 
public boolean hasPostfix(int nest) ( return numChildren() - nest > 1; } 
public Object eval(Environment env) { 


return evalSubExpr(env, 0); 


) 


public Object evalSubExpr(Environment env, int nest) { 


if (hasPostfix(nest)) { 

Object target = evalSubExpr(env, nest + 1); 

return ((PostfixEx)postfix(nest)).eval(env, target); 
} 
else 

return ((ASTreeEx)operand()).eval(env); 


} 
} 


@Reviser public static abstract class PostfixEx extends Postfix { 
public PostfixEx(List<ASTree> c) ( super(c); } 
public abstract Object eval (Environment env, Object value); 
} 
@Reviser public static class ArgumentsEx extends Arguments { 
public ArgumentsEx (List<ASTree> c) { super(c); } 
public Object eval (Environment callerEnv, Object value) { 
if (!(value instanceof Function) ) 
throw new StoneException ("bad function", this); 
Function func = (Function)value; 
ParameterList params = func.parameters(); 
if (size() != params.size()) 
throw new StoneException ("bad number of arguments", this); 
Environment newEnv = func.makeEnv(); 
int num = 0; 
for (ASTree a: this) 
((ParamsEx)params).eval(newEnv, num--, 
((ASTreeEx)a).eval(callerEnv)); 
return ((BlockEx)func.body()).eval(newEnv); 
} 
} 


GReviser public static class ParamsEx extends ParameterList { 
public ParamsEx(List«ASTree» c) ( super(c); } 
public void eval(Environment env, int index, Object value) ( 
((EnvEx)env).putNew(name(index), value); 
} 
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AREA Function.java 


package chap7; 

import stone.ast.BlockStmnt; 
import stone.ast.ParameterList; 
import chap6.Environment; 


public class Function { 

protected ParameterList parameters; 

protected BlockStmnt body; 

protected Environment env; 

public Function(ParameterList parameters, BlockStmnt body, Environment env) { 
this.parameters - parameters; 
this.body = body; 
this.env - env; 


) 


public ParameterList parameters() { return parameters; ] 

public BlockStmnt body() ( return body; } 

public Environment makeEnv() { return new NestedEnv(env); } 

GOverride public String toString() ( return "«fun:" + hashCode() + ">"; } 





AINENA] Postfixjava 


package stone.ast; 





import java.util.List; 


public abstract class Postfix extends ASTList { 
public Postfix(List«ASTree» c) { super(c); ] 





EZ. HERMA 

至 此 ，Stone 语言 已 支持 函数 调用 功能 。 代 码 清单 7.10 是 解释 器 的 程序 代码 ， 代 码 清单 7.11 
是 解释 需 的 启动 程序 。 解 释 器 所 处 的 环境 并 不 是 一 个 BasicEnv 对 象 ， 而 是 一 个 由 启动 程序 创 
建 的 NestedEnv 对 象 。 

下 面 我 们 以 计算 斐 波 那 契 数 为 例 测试 一 下 函数 调用 功能 。 代 码 清 单 7.12 是 由 Stone 语言 写成 
的 斐 波 那 契 数 计算 程序 。 程 序 执行 过 程 中 ,将 首先 定义 fib 函数 ， 并 计算 fip (10) 的 值 。 最 后 
输出 如 下 结果 。 


mc Ed 
=> 55 



































cn Funclnterpreter.java 


package chap7; 
import stone.FuncParser; 





import stone.ParseException; 
import chap6.BasicInterpreter; 


图 灵 社 区 会 员 leezom(superjavaman.zhangli() gmail.com) 专 享 尊重 版 权 


90 | 第 7 天 添加 函数 功能 


public class FuncInterpreter extends BasicInterpreter { 
public static void main(String[] args) throws ParseException { 
run (new FuncParser(), new NestedEnv()); 





7.5 OTTER 
FuncRunnerjava 


package chap7; 
import javassist.gluonj.util.Loader; 








public class FuncRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(FuncInterpreter.class, args, FuncEvaluator.class); 








在 为 Stone 语言 添加 函数 功能 之 后 ， 接 下 来 我 们 将 为 它 提供 对 闭 包 (closure ) 的 支持 。 
Scheme, Smalltalk 及 Ruby 等 多 种 语言 都 文 持 财 包 。 简 单 来 讲 ， 闭 包 是 一 种 特殊 的 函数 ， 它 能 被 
赋值 给 一 个 变量 ， 作 为 参数 传递 至 其 他 函数 。 闭 包 既 能 在 最 外 层 代码 中 定义 ， 也 能 在 其 他 函数 中 
定义 。 通 和 常 ， 闭 包 没有 名 称 。 

如 果 Stone 语言 文 持 闭 包 ， 下 面 的 程序 将 能 正确 运行 。 























Te 
ET 


表达 式 中 的 fun 及 之 后 的 部 分 都 是 闭 包 的 定义 。fun 之 后 的 括号 中 写 有 由 逗号 分 隔 的 参数 
序列 ， 大 括号 () 括 起 的 是 函数 体 。 代 码 清单 7.13 是 闭 包 的 语法 规则 。 该 规则 修改 了 primary, 
向 其 中 添加 了 闭 包 的 定义 。 


用 于 计算 斐 波 那 契 数 的 Stone 语言 程序 
def fib (n) ( 
if n«2fl 
n 
) eise { 
fib(n - 1) + fib(n - 2) 














} 
} 


fib (10) 





MEEA] 闭 包 的 语法 规则 
primary  :" fun " param list block 


| ”原本 的 primary 定义 
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这 段 代 码 将 创建 一 个 新 的 函数 ， 它 的 作用 是 返回 一 个 比 接收 的 参数 大 1 的 值 。 该 参数 将 被 
赋值 给 变量 inc。 赋 值 给 变量 的 就 是 一 个 财 包 。inc 并 非 函 数 的 名 称 ， 事实 上 ， 这 种 函数 没有 名 
称 。 不 过 ， 程 序 能 够 通过 inc (3) 的 形式 ， 以 3 为 参数 调用 该 图 数 。 读 者 可 以 将 其 理解 为 ， 程 序 
从 名 为 inc 的 变量 中 获得 了 一 个 财 包 ， 并 以 3 为 参数 调用 了 这 个 闭 包 。 










































































我 不 太 清 楚 变 量 名 与 函数 名 之 间 有 什么 区 别 。 其 实 两 者 没什么 不 一 样 吧 ? 
O 是 的 。 在 Stone 语言 中 ， 它 们 没有 实质 差别 。 





-— 














闭 包 能 写 于 表达 式 中 ， 因 此 程序 能 在 函数 中 定义 新 的 函数 。 这 个 功能 其 实 并 没有 想象 的 那么 
简单 。 请 看 下 面 的 例子 。 





def counter (c) { 
Sua G (ees 


) 


dori 


函数 counter 将 返回 一 个 闭 包 。 调 用 这 一 返回 的 闭 包 将 得 到 一 个 比 参数 c 大 1 的 返回 值 。 


el s counter(0) 

c2 = counter(0); 
ea) 
Sa 人 
c2() 





执行 上 面 的 代码 时 ， 解 释 需 将 重复 调用 ci 0 两 次 ， 分 别 返 回 1 和 2。 之 后 调用 的 c2 将 返 
回 1。 要 理解 得 到 这 种 结果 的 原因 ， 必 须 了 解 闭 包 如 何 处 理 counter 函数 的 参数 co 

函数 中 出 现 的 变量 ， 如 果 既 不 是 函数 的 参数 ， 也 不 是 一 个 局 部 变量 ， 我 们 通常 将 它 称 为 自由 
变量 ( free variable )。 反 之 ， 参 数 与 局 部 变量 被 称 为 约束 变量 ( bounded variable )。 上 例 中 ， 闭 包 
中 出 现 的 e 是 一 个 自由 变量 。 

自由 变量 的 初始 值 从 函数 (或 财 包 ) 之 外 获得 。 因 此 如 果 函 数 转移 至 其 他 环境 中 执行 ， 自 由 
变量 的 值 也 将 相应 改变 。 而 闭 包 将 根据 函数 定义 时 的 环境 设 定 自由 变量 的 初始 值 ， 并 在 之 后 以 约 
束 变 量 的 方式 处 理 自 由 变量 。 由 于 它 消 除了 自由 变量 ， 使 函数 闭合 ， 故 而 得 名 闭 包 。 

如 果 程 序 设 计 语 言 不 支持 赋值 ， 以 上 就 是 闭 包 的 完整 说 明 。 对 于 Stone 语言 这 类 支持 赋值 的 
语言 ， 我 们 必须 考虑 将 ( 原 ) 自由 变量 c 赋 以 新 值 时 的 情况 。 

目前 存在 多 种 处 理 方式 ，Stone 语言 将 采用 被 应 用 于 Scheme 等 一 些 语言 的 最 为 常见 的 一 种 
方式 。 在 定义 闭 包 时 ， 如 果 自 由 变量 引用 的 是 全 局 变量 ， 则 应 将 其 定义 为 全 局 变量 的 引用 。 解 释 
器 在 执行 闭 包 时 ， 将 引用 这 些 全 局 变量 。 如 果 需 要 进行 赋值 操作 ， 解 释 器 将 把 值 赋 给 相应 的 全 局 
变量 。 

如 果 自 由 变量 引用 的 是 局 部 变量 ， 则 应 将 其 定义 为 局 部 变量 的 引用 。 然 而 ， 局 部 变量 的 生存 
周期 (有效期 ) 仅 为 函数 的 执行 期 间 , 但 闭 包 却 可 以 在 函数 调用 结束 后 继续 存在 。 以 counter PR 
数 为 例 ， 参 数 c 的 生存 周期 将 在 函数 调用 结束 后 终止 ,但 它 返 回 的 闭 包 显然 将 在 之 后 才 被 执行 。 
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为 了 避免 这 个 问题 ， 财 包 中 引用 的 变量 的 生存 周期 将 延长 至 财 包 被 ( 垃圾 回收 机 制 ) 清除 为 
止 。 从 实现 的 角度 来 看 ， 含 有 该 变量 的 环境 (Environment 对 象 ) 将 随 闭 包 一 同 存在 。 





























| Bl Java 虚拟 机 没有 提供 保存 环境 的 功能 ， 要 实现 闭 包 可 不 太 容 易 啊 。 | 
[3 嗯 ， 不 过 这 在 Stone 语言 里 很 容易 做 到 。 











通过 以 上 说 明 ， 就 不 难 理解 为 什么 


c1 = counter(0) 
c2 = counter(0); 
SO 





最 后 三 行 会 依次 返回 1、2、1 了 。 赋 值 给 变量 c1 的 闭 包 将 始终 保持 对 参数 c 的 引用 ， 执 行 
时 c 的 值 自然 会 不 断 增加 。 

最 后 一 行 代码 执行 了 赋值 给 变量 c2 的 闭 包 ， 有 的 读者 可 能 会 有 些 疑 惑 ， 为 什么 这 里 返回 的 
是 1 而 不 是 3。 之 所 以 返回 1 是 因为 在 解释 器 创建 这 两 个 闭 包 时 , counter 函数 并 没有 使 用 同一 
个 参数 c。 函 数 的 参数 及 局 部 变量 都 将 在 函数 被 调用 时 重新 创建 。 请 读者 回忆 一 下 此 前 介绍 的 内 
容 ， 这 些 变量 的 生存 周期 就 是 函数 的 执行 期 间 。 在 函数 执行 结束 后 ， 这 些 变量 将 会 被 丢弃 ， 即 使 
再 次 调用 同一 函数 ， 系 统 也 会 重新 创建 所 有 的 相关 变量 。 


EZ. tamane 

为 Stone 语言 实现 闭 包 不 是 一 件 难事 。 代 码 清单 7.14 是 支持 闭 包 功能 的 语法 分 析 器 程序 。 它 
修改 了 非 终结 符 primary 的 定义 ， 使 语法 分 析 器 能 够 解析 由 Eun 起 始 的 闭 包 。 代 码 清单 7.15 
的 Fun 类 是 用 于 表示 闭 包 的 抽象 语法 树 的 节点 类 。 

Fun 类 的 eval 方法 通过 代码 清单 7.16 的 ClosureEvaluator 修改 器 增加 。 与 def 语句 
的 eval 方法 一 样 ， 它 也 会 创建 一 个 Function 对 象 。 Function 对 象 的 构造 函数 需要 接收 
个 env 参数 ， 它 是 定义 了 该 财 包 的 表达 式 所 处 的 执行 环境 。 































































































回 我 简单 写 了 下 ， 发 现实 现 闭 包 的 关键 在 于 向 构造 函数 传递 的 env 环境 。 | 
B 其 实 ， 在 实现 def 语句 时 已 经 为 闭 包 的 实现 做 了 准备 。 只 看 代码 清单 7.16 自然 会 觉得 非常 简单 。 












































def 语句 在 创建 Function 对 象 后 会 向 环境 添加 由 该 对 象 与 函数 名 组 成 的 名 值 对 ， 而 在 创 
建 闭 包 时 ，eval 方法 将 直接 返回 该 对 象 。 这 样 一 来 ，Stone 语言 就 能 将 函数 赋值 给 某 个 变量 ， 
或 将 它 作 为 参数 传递 给 另 一 个 函数 ， 实 现 闭 包 的 语法 功能 。 这 时 ， 实 际 赋值 给 变量 或 传递 给 函数 
的 就 是 新 创建 的 Function 对 象 。 
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AXcnh WADE SHAE AN taa ClosureParser.java 


package stone; 
import static stone.Parser.rule; 
import stone.ast.Fun; 


public class ClosureParser extends FuncParser { 
public ClosureParser() ( 
primary.insertChoice(rule(Fun.class) 
.Sep("fun").ast(paramList).ast(block)); 





ne Funjava 





package stone.ast; 
import java.util.List; 


public class Fun extends ASTList { 
public Fun(List«ASTree» c) ( super(c); } 
public ParameterList parameters() { return (ParameterList)child(0); } 
public BlockStmnt body() ( return (BlockStmnt)child(1); } 
public String toString() { 
return "(fun " + parameters() + " " + body() + ")"; 
} 





EA ClosureEvaluator.java 





package chap7; 

import java.util.List; 
import javassist.gluonj.*; 
import stone.ast.ASTree; 
import stone.ast.Fun; 
import chap6.Environment; 


GRequire (FuncEvaluator.class) 
GReviser public class ClosureEvaluator { 
GReviser public static class FunEx extends Fun { 


public FunEx(List«ASTree» c) { super(c); ] 
public Object eval(Environment env) { 
return new Function(parameters(), body(), env); 


) 





EA Closurelnterpreter.java 





package chap7; 

import stone.ClosureParser; 
import stone.ParseException; 
import chap6.BasicInterpreter; 


public class ClosureInterpreter extends BasicInterpreter( 
public static void main(String[] args) throws ParseException { 
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run(new ClosureParser(), new NestedEnv()); 





Stone 语言 程序 原本 仅 能 处 理 整数 值 与 字符 串 ， 通 过 本 章 的 扩展 ， 它 现在 已 经 支持 对 函数 的 
操作 。 从 具体 实现 的 角度 来 看 ， 整 数值 由 Java 语言 的 Integer 对 象 表 现 ， 字 符 串 由 String 
象 表现 ， 而 新 添加 的 函数 则 由 Function 对 象 表现 。 

代码 清单 7.17 是 支持 闭 包 功能 的 Stone 语言 解释 器 。 代 码 清单 7.18 是 相应 的 启动 程序 。 


dE ClosureRunner.java 


package chap7; 
import javassist.gluonj.util.Loader; 











public class ClosureRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(ClosureInterpreter.class, args, ClosureEvaluator.class); 





启动 程序 仪 显 式 地 指定 了 ClosureEvaluator 这 一 个 修改 器 。 不 过 根据 该 修改 器 
标 有 的 @Require 标识 ， 它 依赖 于 FuncEvaluator 修改 器 ， 因 此 系统 将 自动 同时 应 
用 FuncEvaluator 的 修改 。 又 由 于 FuncEvaluator 修改 右 也 包含 依赖 关系 ， 因 此 也 将 一 同 
应 用 第 6 天 (第 6 章 ) 代码 清单 6.3 中 的 BasicEvaluator 修改 器 。 






































| B 虽然 现在 程序 已 经 支持 函数 和 闭 包 了 ， 但 我 还 是 在 考虑 一 个 问题。 | 
在 想 什么 呢 ? 
O Stone 语言 和 其 他 很 多 变量 无 需 声明 即 可 使 用 的 语言 一 样 ， 如 果 已 经 存在 某 个 全 局 变量 ， 就 
无 法 再 创建 同名 的 局 部 变量 。 
加 哦 ， 你 在 考虑 这 个 啊 。 也 就 是 说 ， 对 于 下 面 的 代码 ， 









































































































































和 = 1 
deseo ME NCC C NUMEN, 























函数 foo 无 法 创建 名 为 x 的 局 部 变量 。 函 数 中 的 x 将 引用 第 一 行 的 全 局 变量 x。 
回 没 错 。 如 果 调用 foo (3) ， 全 局 变量 x 的 值 就 会 是 3。 不 过 对 于 参数 就 不 会 有 这 个 问题 。 
O 这 可 就 麻烦 了 。 想 用 的 是 局 部 变量 ， 实 际 使 用 的 是 全 局 变量 ， 这 里 似乎 存在 大 量 错误 隐患。 
E 也 不 至 于 啦 。 如 果 非 要 区 分 两 者 ， 只 要 更 改定 义 ， 让 全 局 变量 的 变量 名 必须 以 $ 开始 就 行 了 。 
回 那 闭 包 该 怎么 处 理 呢 ? 闭 包 内 外 同名 的 局 部 变量 可 是 会 被 识别 为 同一 个 变量 哦 。 
回 果然 还 是 像 JavaScript 的 var 声明 语句 那样 ， 显 式 地 声明 局 部 变量 会 比较 好 吧 。 
L Dl 那 添加 var 声明 语句 的 工作 正好 留 作 读者 的 课 后 习题 吧 。 ] 
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E 
3 关联 Java 语言 


至 此 ，Stone 语言 终于 能 使 用 函数 了 。 不 过 我 们 还 没有 为 Stone 语言 实现 类 似 于 Java 语言 
中 System.out .println 的 函数 ， 因 此 程序 还 无 法 输出 字符 串 显 示 。 本 章 将 继续 扩展 Stone 语 
言 ， 使 它 能 够 在 程序 中 调用 Java 语言 中 的 static 方法 。 


EX. 5s 

Java 语言 提供 了 名 为 原生 方法 的 功能 ， 用 于 调用 C 语言 等 其 他 一 些 语言 写成 的 函数 。 我 们 
将 为 Stone 语言 添加 类 似 的 功能 ， 让 它 能 够 调用 由 Java 语言 写成 的 函数 。 本 书 参 照 Java 语言 的 
命名 习惯 ， 将 这 类 函数 称 为 原生 函数 。 

原生 函数 将 由 Arguments 类 的 eval 方法 调用 。 我 们 将 对 它 作 些 修改 ,使 该 方法 能 对 原生 
函数 进行 正确 的 处 理 。 

代码 清单 8.1 是 用 于 改写 Arguments 类 的 eval 方法 的 修改 器 。 这 个 名 为 NativeArgEx 
的 修改 器 标 有 extends ArgumentsEx 一 句 ， 可 能 让 人 误 以 为 它 会 修改 ArgumentsEx, 但 其 
实 它 修改 的 是 Arguments 类 。ArgumentsEx 是 第 7 章 ( 第 7 天 ) 代码 清单 7.7 中 定义 的 另 一 个 
修改 顺 。NativeArgEx 修改 央 与 ArgumentsEx 修改 天 都 用 于 修改 Arguments 类 ， 它 将 在 后 
者 的 基础 上 对 该 类 作 进 一 步 修 改 。 












































^ 
( 回 这 里 的 修改 器 继承 了 另 一 个 修改 器 。 ) 














通过 这 次 修改 , Arguments 类 eval 方法 将 首先 判断 参数 value 是 否 为 NativeFunction 对 
象 。 参 数 value 是 一 个 由 函数 调用 表达 式 的 函数 名 得 到 的 对 象 。eval 方法 之 前 返回 的 总 
Æ Function 对 象 。 如 果 参 数 是 一 个 NativeFunction 对 象 ，eval 方法 将 在 计算 实 参 序列 并 
保存 至 数组 args 之 后 ,调用 NativeFunction 对 象 的 invoke 来 执行 目标 函数 。 如 果 参 数 不 
是 NativeFunction 对 象 ， 解释 器 将 执行 通常 的 函数 调用 。 具 体 来 说 ， 它 将 通过 super 来 调 
用 原先 由 ArgumentsEx 修改 器 添加 的 eval 方法 。 


AEREE NativeEvaluator.java 


package chap8; 

import java.util.List; 

import stone.StoneException; 

import stone.ast.ASTree; 

import javassist.gluonj.*; 

import chap6.Environment; 

import chap6.BasicEvaluator.ASTreeEx; 
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import chap7.FuncEvaluator; 


GRequire (FuncEvaluator.class) 
GReviser public class NativeEvaluator ( 
GReviser public static class NativeArgEx extends FuncEvaluator.ArgumentsEx { 
public NativeArgEx(List«ASTree» c) { super(c); } 
GOverride public Object eval(Environment callerEnv, Object value) { 
if (!(value instanceof NativeFunction)) 
return super.eval(callerEnv, value); 


NativeFunction func = (NativeFunction)value; 
int nparams - func.numOfParameters(); 
if (size() != nparams) 
throw new StoneException("bad number of arguments", this); 
Object[] args = new Object [nparams] ; 
int num = 0; 
for (ASTree a: this) { 
ASTreeEx ae = (ASTreeEx)a; 
args [num++] = ae.eval(callerEnv); 


) 


return func.invoke(args, this); 





代码 清单 8.2 是 NativeFunction 类 。 如 果 函 数 是 一 个 原生 函数 ， 程 序 将 在 开始 执行 前 
创建 NativeFunction 类 的 对 象 ， 将 由 函数 名 与 相应 对 象 组 成 的 名 值 对 添加 至 环境 中 。 该 类 
的 invoke 方 法 将 以 参数 args 为 参数 调用 Java 语言 的 static 方法 。 需 要 执行 的 方法 将 事先 
传递 给 构造 函数 , 通过 Method 对 象 表示 。Method 是 java.lang.reflect 包 的 一 个 类 , 用 于 
提供 反射 功能 。 

Method 对 象 的 invoke 方法 用 于 执行 它 表 示 的 Java 语言 方法 。invoke 的 第 1 个 参数 是 执 
行 该 方法 的 对 象 。 如 果 被 执行 的 是 一 个 static 方法 ,该 参数 则 为 null1。invoke 的 第 2 个 参数 
用 于 保存 传递 给 方法 的 实 参 序列 。 


ES 网 NativeFunction.java 


package chap8; 

import java.lang.reflect.Method; 
import stone.StoneException; 
import stone.ast.ASTree; 








public class NativeFunction { 
protected Method method; 
protected String name; 
protected int numParams; 
public NativeFunction(String n, Method m) { 


name = n; 
method = m; 
numParams = m.getParameterTypes().length; 

GOverride public String toString() ( return "<native:" + hashCode() + ">"; } 
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public int numOfParameters() ( return numParams; } 
public Object invoke(Object[] args, ASTree tree) ( 
try ( 


return method.invoke (null, args); 
) catch (Exception e) { 
throw new StoneException("bad native function call: " + name, tree); 


} 
} 


























[ 四 又 是 用 于 表示 方法 的 方法 ， 又 是 作为 参数 传递 的 参数 ， 都 给 搞 糊 涂 了 。 | 
D 这 里 的 反射 是 一 种 元 编程 ， 确 实 很 绕 。 
回 这 里 的 元 是 指 程序 会 编写 或 操纵 自己 。 这 个 概念 本 身 就 很 难 理解 。 

L B 也 就 是 说 ， 类 也 好 方法 也 好 ， 都 属于 一 种 对 象 是 吧 。 J 
















































































代码 清单 8.3 中 的 程序 会 在 执行 前 创建 NativeFunction 对 象 ， 并 添加 至 环境 中 。 其 
H, Natives 类 的 environment 方法 将 在 调用 后 返回 一 个 含有 原生 函数 的 环境 。 

append 方法 能 够 向 环境 添加 一 个 由 参数 指定 的 static 方法 作为 原生 函数 。 它 的 第 3 个 参 
数 是 需要 添加 的 static 方法 的 类 ， 第 4 个 参数 是 该 方法 的 名 称 ， 从 第 5 个 参数 开始 是 该 方法 的 
参数 类 型 。 如 果 新 增 的 方法 不 含 参数 ， 则 仅 需 向 append 方法 传人 前 4 个 参数 。 

代码 清单 83 向 环境 添加 了 print AX, read A% length PR, cornt A% 
及 currentTime Kt, TREE KAHR, i8. Natives 类 中 的 同名 static 方法 。 

代码 清单 8.4 与 代码 清单 8.5 分 别 是 解释 器 程序 及 其 启动 程序 。 代 码 清单 8.4 中 的 解释 器 
将 首先 调用 Natives 类 的 environment 方法， 创建 一 个 包含 原生 函数 的 环境 。 代 码 清单 8.5 
中 的 启动 程序 需要 同时 传人 NativeEvaluator 修改 央 与 ClosureEvaluator Mit. MH 
于 NativeEvaluator 仅 对 FuncEvaluator 标记 了 @Require， 因 此 ， 如 果 传 递 给 run 方法 
的 参数 仅 有 NativeEvaluator, 程序 就 将 因 没 有 应 用 ClosureEvaluator 的 修改 而 无 法 使 用 
闭 包 功能 。 

这 种 设计 看 似 麻烦 ， 但 它 通过 分 制 修改 妖 ， 可 以 使 用 户 根据 需要 为 Stone 语言 配置 合适 的 功能 。 
这 正 是 所 谓 的 产品 线 开 发 方法 。 将 来 扩展 Stone 语言 时 ， 可 能 需要 添加 一 些 与 闭 包 无 法 兼容 的 功能 。 
这 时 ， 只 要 去 除 那 些 用 于 实现 闭 包 的 修改 器 ， 并 换 用 提供 所 需 功 能 的 修改 融 即 可 ， 非 常 容 易 。 












































本 了、 编号 使 用 原生 函数 的 程序 


在 支持 使 用 原生 函数 之 后 ，Stone 语言 终于 能 够 写 出 更 加 像样 的 程序 了 。 例 如 ， 代 码 清单 8.6 
能 够 计算 15 的 斐 波 那 契 数 ， 并 显示 计算 所 花 的 时 间 。 

笔者 自己 平时 使 用 的 计算 机 ( Intel Core2 2.53GHz, Java 1.6) 在 定义 了 fib 函数 后 执行 了 若 
T fib 15。 一 开始 计算 该 值 需要 大 约 70 毫秒 ,之 后 变 为 40 毫秒 ， 然 后 是 S 毫秒 ,不 断 缩短 ， 
直至 3 毫秒 。 可 见 ，Java 虚拟 机 的 动态 编译 能 够 提高 程序 的 执行 效率 。 
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MONEE Natives.java 


package chap8; 


import 
import 
import 
import 


public 


java.lang.reflect.Method; 
javax.swing.JOptionPane; 
stone.StoneException; 
chap6.Environment; 


class Natives { 


public Environment environment (Environment env) { 


) 


appendNatives (env); 
return env; 


protected void appendNatives (Environment env) { 


) 


append(env, "print", Natives.class, "print", Object.class); 


append(env, "read", Natives.class, "read"); 

append(env, "length", Natives.class, "length", String.class); 
append(env, "toInt", Natives.class, "toInt", Object.class); 
append(env, "currentTime", Natives.class, "currentTime"); 


protected void append(Environment env, String name, Class«?» clazz, 


) 
// 


String methodName, Class<?> ... params) { 
Method m; 
try { 
m = clazz.getMethod (methodName, params); 
) catch (Exception e) { 
throw new StoneException("cannot find a native function: " 
+ methodName); 


) 


env.put(name, new NativeFunction (methodName, m)); 


native methods 


public static int print(Object obj) { 


) 


System.out.println(obj.toString()); 
return 0; 


public static String read() { 


) 


return JOptionPane.showInputDialog (null); 


public static int length(String s) { return s.length(); } 
public static int toInt(Object value) { 


) 


if (value instanceof String) 
return Integer.parseInt((String)value); 
else if (value instanceof Integer) 
return ((Integer)value).intValue(); 
else 
throw new NumberFormatException(value.toString()); 


private static long startTime - System.currentTimeMillis(); 
public static int currentTime() { 





return (int) (System.currentTimeMillis() - startTime); 
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REEE] Nativelnterpreter.java 


package chap8 

import stone.ClosureParser; 
import stone.ParseException; 
import chap6.BasicInterpreter; 
import chap7.NestedEnv; 


public class NativeInterpreter extends BasicInterpreter ( 
public static void main(String[] args) throws ParseException { 
run(new ClosureParser(), 
new Natives().environment (new NestedEnv())); 





EHE] NativeRunner.java 


package chap8; 
import javassist.gluonj.util.Loader; 
import chap7.ClosureEvaluator; 


public class NativeRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(NativelInterpreter.class, args, NativeEvaluator.class, 
ClosureEvaluator.class); 





BEEN 3üumETPESENOESIOAEDSSBUR E 





def fib (n) { 
if n e 2T 
n 
) eise ( 
fib(n - 1) + fib(n - 2) 
) 
) 


t = currentTime() 
fib 15 
print currentTime() - t + " msec" 














( D 关于 最 后 的 print 语句 


EECEUEEEREIITG nd Mme 


























写成 这 样 的 话 ， 就 只 显示 数字 ， 不 显示 msec 部 分 了 。 看 起 来 有 些 奇 怪 。 
B 这 是 因为 括号 加 得 不 好 ， 解 释 器 把 程序 解释 成 了 下 面 这 样 。 


(pss (enassememame NE EN mec 





































































































太 难 理解 了 ， 也 就 是 说 ， 参 数 序列 一 定 要 用 括号 括 起 是 吗 ? 
BH 也 不 是 啦 。 只 是 如 果 会 产生 歧义 ， 就 一 定 要 添加 括号 。 
L 所 以 说 ， 我 还 是 不 明白 什么 时 候 该 加 什么 时 候 不 加 啊 。 
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2 设计 面向 对 象 语言 


本 章 将 为 Stone 语言 添加 类 与 对 象 的 支持 。 实 现 类 与 对 象 的 方式 多 种 多 样 ， 不 同 的 程序 设 
计 语 言 采 用 了 不 同 的 设计 方案 。 例 如 ，JavaScript 语言 采用 了 基于 原型 的 面向 对 象 设 计 ， 没 有 
使 用 类 的 概念 。 即 使 是 基于 类 的 面向 对 象 语 言 ， 其 中 既 有 C++ 这 样 支 持 多 重 继承 的 语言 ， 也 有 
Smalltalk 或 Squeak 这 类 仅 支 持 单一 继承 的 语言 。Java 语言 虽然 只 能 单一 继承 ,但 引入 了 接口 的 
概念 来 弥补 这 一 不 足 。 

本 章 仅 实现 了 最 基本 的 面向 对 象 机 制 。 这 里 采用 了 通常 的 基于 类 的 设计 方式 ， 且 仅 文 持 单一 
继承 。 此 外 ， 由 于 Stone 语言 不 含 静态 类 型 ， 因 此 无 法 使 用 接口 的 概念 。 





















































医 和 设计 用 于 操作 类 与 对 象 的 语法 
在 添加 了 类 与 对 象 的 处 理 功 能 后 ， 下 面 的 Stone 语言 程序 也 能 被 正确 执行 。 


class Position { 





x=y=0 
def move (nx, ny) { 
sm Es mp y cs y 
} 
} 
p = Position.new 
p.move (3, 4) 
p.x = 10 
print p.x * p.y 





显然 ， 这 段 程序 将 首先 会 定义 一 个 Position 类。 其 中 的 方法 由 def 语句 定义 。 类 中 的 字 
段 通过 变量 表示 ， 并 赋 了 初始 值 。 上 面 的 例子 定义 了 move 方法 以 及 字段 x 与 y。 

由 类 名 后 接 .new 组 成 的 代码 能 够 创建 一 个 对 象 。 为 简化 实现 ， 本 童 规定 Stone 语言 无 法 定 
义 带 参数 的 构造 函数 。 如 以 上 代码 所 示 ， 如 果 要 调用 方法 或 访问 字段 ， 只 需 在 句点 . 后 接 上 方法 
名 ， 或 写 上 需要 访问 的 字段 名 即 可 。 这 与 Java 语言 相同 。 

Stone 语言 无 法 显 式 地 定义 构造 函数 。 对 象 一 旦 创建 ， 就 会 从 上 往 下 依次 执行 大 括号 中 的 类 
定义 语句 。 这 可 称 之 为 Stone 语言 的 构造 函数 。{ } 之 间 能 够 出 现 def 语句 或 赋值 表达 式 。 这 时 ， 
如 果 赋 值 表达 式 的 赋值 对 象 不 是 已 有 的 全 局 变量 ， 解 释 需 就 会 将 它 识 别 为 新 添加 的 字段 。 















































| 四 老师 ， 怎 样 才能 实现 继承 呢 ? | 
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在 对 类 作 定 义 时 ， 如 果 和 希望 继承 其 他 的 类 ， 只 需 在 类 名 之 后 接着 写 上 extends 即 可 。 例 
如 ， 下 面 的 代码 能 够 定义 一 个 继承 于 Position 类 的 子 类 Pos3D。 


class Pos3D extends Position { 
z-20 

def set (nx, ny, nz) ( 

Xx m ds Y oc Dy e c» imu 


} 
} 
p = Pos3D.new 
p.move(3, 4) 
jenesbale: aes 
Se 5M CE 
ea Te) A 








本 书 规定 Stone 语言 不 支持 方法 重 载 。 也 就 是 说 ， 同 一 个 类 中 无 法 定义 参数 个 数 或 类 型 不 同 
的 同名 方法 。 


医 双 了 NA 实现 类 所 需 的 语法 规则 


接 下 来 ， 我们 为 Stone 语言 解释 器 添加 对 类 与 对 象 功能 的 支持 。 与 实现 函数 功能 时 一 样 ， 
在 扩展 语法 分 析 需 之前， 我们 首先 需要 考虑 类 与 对 象 功能 的 语法 规则 。 代 码 清单 9.1 是 与 类 相 
关 的 语法 规则 修改 。 这 里 只 显示 了 与 代码 清单 7.1 和 代码 清单 7.13 的 不 同 之 处 。 其 中 ， 非 终结 
ff postfix 与 program 的 定义 发 生 了 变化 ， 同 时 语法 规则 中 新 增 了 一 些 其 他 的 非 终结 符 。 

非 终结 符 class body 的 定义 较为 复杂 ， 不 过 其 实 它 与 block 大 同 小 异 。class_body 表 
示 由 大 括号 C) 括 起 的 由 分 号 或 换行 符 分 隔 组 成 的 若干 个 member。 非 终结 符 postfix 经 过 修 
改 ， 现 在 不 仅 能 够 表示 实 参 序列 ， 还 能 支持 基于 句点 . 的 方法 调用 与 字段 访问 。 

代码 清单 9.2 是 根据 代码 清单 9.1 的 语法 规则 更 新 的 语法 分 析 器 程序 。 代 码 清单 9.3、 代 码 清 
单 9.4 与 代码 清单 9.5 是 其 中 用 到 的 类 定义 。 与 之 前 一 样 ， 它 们 直接 根据 BNF 定义 的 语法 规则 对 
程序 作 了 修改 。postfix 与 brogram 通 过 insertChoice 方法 添加 了 新 的 or 分 支 选 项 。 


WEERA 与 类 相关 的 语法 规则 




















member : def | simple 

class body : "(" [ member ] ((";" | EOL) [ member ]} "j" 

defclass : "class" IDENTIFIER [ "extends" IDENTIFIER ] class body 
postfix : "." IDENTIFIER | "(" [ args ] ")" 

program : [ defclass | def | statement ] (";" | EOL) 


AERA 支持 类 的 语法 分 析 器 ClassParserjava 


package stone; 

import static stone.Parser.rule; 
import stone.ast.ClassBody; 
import stone.ast.ClassStmnt; 
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import stone.ast.Dot; 


public class ClassParser extends ClosureParser { 


Parser member - rule().or(def, simple); 


Parser class body - rule(ClassBody.class).sep("(").option (member) 
.repeat(rule().sep(";", Token.EOL).option(member)) 
.Sep(")"); 
Parser defclass = rule(ClassStmnt.class).sep("class").identifier (reserved) 
.option(rule().sep("extends").identifier (reserved)) 


.ast(class body); 
public ClassParser() ( 
postfix.insertChoice (rule(Dot.class).sep(".").identifier(reserved)); 
program.insertChoice (defclass); 





9.3 N 实现 eval 方 法 


人 


XH, ClassStmnt 类 新 增 的 eval 方法 将 创建 一 个 classInfo 对 象 ， 向 环境 添加 由 类 名 与 该 
对 象 组 成 的 名 值 对 。 这 里 所 说 的 类 名 是 指 由 该 class 语句 定义 的 类 的 名 称 。 之 后 ， 解 释 器 能 够 





下 一 步 ， 我 们 需要 为 新 增 的 抽象 语法 树 的 类 添加 eval 方法 。 代 码 清单 9.6 是 所 需 的 修改 需 。 
首先 ， 修 改 需 为 用 于 类 定义 的 class 语句 添加 了 eval 方法 。class 语句 以 class 一 词 起 
台 ,， 它 对 应 的 非 终结 符 是 defclass, 在 抽象 语法 树 中 以 classStmnt (代码 清单 9.4 ) 类 的 形式 























通过 .new 从 环境 中 获取 类 的 信息 。 例 如 ， 


class Position { 省 略 } 


这 条 语句 能 够 创建 一 个 ClassInfo 对 象 ， 该 对 象 保 存 了 Stone 语言 中 Position 类 的 定义 


言 息 。 对 象 在 创建 后 ， 将 与 类 名 Position 一 起 添加 至 环境 中 。 





如 代码 清单 9.7 所 示 ，classInfo 对 象 保存 了 class 语句 的 抽象 语法 树 。 它 与 保存 
KRUGE X Jil IR UST) Function 类 有 些 相似 (第 7 鞋 的 代码 清单 7.8)。 包括 本 章 新 增 
的 classInfo 对 象 ， 现 在 的 环境 已 经 能 够 记录 各 种 类 型 的 名 值 对 。 表 9.1 总 结 了 至 今 为 止 介绍 


过 的 所 有 的 值 。 
ClassBody.java 


package stone.ast; 
import java.util.List; 


public class ClassBody extends ASTList { 


) 


public ClassBody(List«ASTree» c) ( super(c); } 





MALEREI ClassStmnt.java 





package stone.ast; 
import java.util.List; 
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public class ClassStmnt extends ASTList { 
public ClassStmnt (List«ASTree» c) { super(c); } 
public String name() { return ((ASTLeaf)child(0)).token().getText(); ] 
public String superClass() { 
if (numChildren() « 3) 
return null; 
else 
return ((ASTLeaf)child(1)).token().getText(); 
} 
public ClassBody body() ( return (ClassBody)child(numChildren() - 1); } 
public String toString() { 
String parent - superClass(); 
if (parent -- null) 
parent = "*"; 
return "(class " + name() + " " + parent + " " + body() + ")"; 





Hund] Dotjava 


package stone.ast; 
import java.util.List; 





public class Dot extends Postfix [ 
public Dot(List«ASTree» c) ( super(c); } 
public String name() { return ((ASTLeaf)child(0)).token().getText(); ] 
public String toString() ( return "." + name(); } 





环境 中 记录 的 名 值 对 







































































整数 值 Integer 对 象 
字符 串 String 对 象 
函数 Function 对 象 
原生 函数 NativeFunction 对 象 
类 定义 ClassInfo 对 象 
Stone 语言 的 对 象 StoneObject 对 象 
四 不 知 怎么 的 ， 总 觉得 用 面向 对 象 语言 来 实现 另 一 种 面向 对 象 语言 有 点 奇怪 。 比 如 说 ， 用 于 实 | 




















现 类 的 对 象 是 什么 意思 啊 ? 
Bi 因为 Java 本 身 是 面向 对 象 语言 ， 所 以 我 们 在 实现 中 用 到 了 对 象 的 概念 ， 其 实 从 实现 面向 对 象 
语言 的 原理 来 看 ， 这 并 不 是 必需 的 。 如 果 觉 得 奇怪 ， 只 要 把 classInfo 看 作 C 语言 中 的 结 
构 体 即 可 。 

| Bl ciassinto 对 象 的 方法 都 是 些 getter， 并 没有 怎么 体现 对 象 的 特 
















































































生 。 | 
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接 下 来 ,我 们 需要 添加 一 个 新 的 eval 方法 ,使 程序 能 够 通过 句点 . 进行 实现 方法 调用 
与 字段 访问 。 相 应 的 抽象 语法 树 是 一 个 Dot 类 (代码 清单 9.5 )。 与 用 于 表示 气 数 调用 时 的 
实 参 序列 的 Arguments 类 一 样 ，Dot 类 也 是 Postfix 的 一 个 子 类 。Dot 类 的 eval 方法 
由 PrimaryExpr 类 的 evalSubExpr 方法 直接 调用 ，PrimaryExpr 类 的 eval 方法 会 通 
过 evalSubExpr 方法 来 获取 调用 结果 。 详 细 内 容 请 回顾 第 7 章 ( 第 7 天 ) 的 代码 清单 7.7。 

修改 器 向 Dot 类 添加 的 eval 方法 需要 两 个 参数 。 其 中 一 个 是 环境 ， 另 一 个 是 句点 左 侧 的 计 
算 结 果 。 如 果 句 点 右 侧 是 new， 句 点 表达 式 将 用 于 创建 一 个 对 象 。 其 中 句点 左 侧 是 需要 创建 的 类 ， 
它 的 计算 结果 是 一 个 classInfo 对 象 。eval 方法 将 根据 该 classInfo 对 象 提 供 的 信息 创建 对 
象 并 返回 。 从 实现 上 来 看 ，Stone 话 言 的 对 象 由 Java 对 象 Stoneobject (代码 清单 9.8 ) 表现 。 

如 果 句 点 的 右 侧 不 是 new， 该 句点 表达 式 将 用 于 方法 调用 或 字段 访问 。 句 点 左 侧 是 需要 访 
问 的 对 象 ， 它 的 计算 结果 是 一 个 stoneobject 对 象 。 如 果 这 是 一 个 字段 ， 解 释 器 将 调用 它 
的 read 方法 获取 字段 的 值 并 返回 。 






















































































B 我 试 着 在 图 9.1 M 681 Stone 语言 的 类 与 对 象 和 Java 语言 的 ClassInfo 对 象 及 | 
StoneObject 对 象 的 关系 。 
回 在 这 个 例子 中 ，Stone 语言 的 Position 类 与 Shape 类 分 别 有 与 之 对 应 的 对 象 。 
B 没 错 ， 但 实现 它们 的 Java 语言 代码 却 全 部 都 是 对 象 。 
| Bl 这 是 因为 这 里 的 Stone 是 被 实现 的 语言 ，Java 是 用 于 实现 的 语言 。 J 
















































































代码 清单 9.6 中 的 AssignEx 修改 器 实现 了 字段 赋值 功能 。 该 修改 器 继承 于 BinaryEx, 
同时 ，BinaryEx 本 身 也 是 一 个 修改 器 (第 6 章 代码 清单 63)。 与 BinaryEx 一 样 ， 这 里 
的 AssignEx 修改 顺 也 将 修改 BinaryExpr X., AssignEx 修改 需 覆 盖 了 由 BinaryEx 修改 央 
添加 的 computeAssign 方法 ， 使 字段 的 赋值 功能 得 以 实现 。 


Position 类 Shape 









Shape 类 
cl ie 对 象 > 
ass Position { Position 
略 x 
^ ^ 
I I 
! Stone 语言 范畴 ! 
1 Java 语言 范畴 x i 1 
ZEN" v 
Y ZD 
Classlnfo Classlnfo 
对 象 StoneObject 对 象 
对 象 


通过 Java 语 言 对 象 来 表现 Stone 语 言 的 类 与 对 象 
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经 过 AssignEx 修改 器 修改 的 computeAssign 方法 将 在 赋值 运算 的 左 侧 为 一 个 字段 
时 调用 StoneObject 的 write 方 法 ,执行 赋值 操作 。 如 果 不 是 ， 它 将 通过 super 调用 原先 
的 computeAssign 方法 。 

在 为 字段 赋值 时 必须 注意 的 是 ， 赋 值 运算 的 左 侧 并 不 一 定 总 是 单纯 的 字段 名 称 。 例 如 ， 字段 
可 以 通过 下 面 的 方式 表现 。 


eate cei Mess MO 


























解释 器 将 首先 调用 变量 cable 所 指 对 象 的 get 方法 ， 再 将 返回 的 对 象 中 next 字段 指向 的 
对 和 象 包含 的 字段 x 赋值 为 3。 其 中 , 仅 有 .x 将 计算 运算 符 的 左 值 并 赋值 , table.get() .next 仍 
以 通常 方式 计算 最 右 侧 的 值 。computeAssign 方法 通过 内 部 的 evalSubExpr 方法 执行 这 一 计 
算 。 赋 值 给 变量 t 的 返回 值 同时 也 是 上 面 例子 中 table.get 0 .next 的 右 值 计算 结果 。 





























5 号 ， 这 一 段 都 在 讨论 字段 ， 没 有 提 到 方法 呢 。 | 








Stone 语言 通过 def 语句 定义 函数 后 ， 就 会 将 由 函数 名 与 Function 对 象 组 成 的 名 值 对 添 
加 至 环境 中 。 与 方法 定义 一 样 ，def 语句 如 果 出 现在 用 于 对 类 下 定义 的 大 括号 { } 中 ， 由 方法 名 
与 Function 对 象 组 成 的 名 值 对 将 被 写 和 人 Stoneobject 对 象 中 。 具 体内 容 将 在 之 后 详 述 。 

Stone 语言 的 字段 与 方法 之 间 没 有 明确 的 区 别 ， 方 法 是 一 种 以 Function 对 象 为 值 的 字段 。 

















( 回 这 倒是 和 JavaScript 一 样 。 | 











因此 ， 我 们 无 需 做 特别 的 处 理 来 实现 方法 调用 功能 。 例 如 ， 下 面 的 代码 将 调用 一 个 方法 。 


p.move(3, 4) 





它 的 抽象 语法 树 如 图 9.2 所 示 。 解 
释 需 在 调用 该 图 中 PrimaryExpr 对 象 


的 eval 方法 时 ，Name 对 象 的 eval 将 operand [ps postfix 
被 首先 调用 ， 从 环境 中 获取 与 名 称 


为 的 对 象 。 之 后 Dot 对 象 的 eval 方 : Name : Dot : Arguments 
法 将 被 调用 ， 从 该 对 象 中 读 取 名 [name=p | 

为 move 的 Function 对 象 。 最 后 程 

序 将 调用 Arguments 对 象 的 eval 方 : ASTLeaf 





: PrimaryExpr 










































































- children children 
法 ， 执 行 该 Function 对 象 表示 的 方 J 
3 3 ZA y 
法 。 Arguments 的 eval 方法 已 TEN : NumberLiteral : NumberLiteral 
Stone 语言 T4 US JI ERI 数 支持 时 实现 ， 直接 value = 3 value 2 4 























使 用 即 可 。 





p.move(3,4) 的 抽象 语法 树 
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EA ClassEvaluator.java 


package chap9; 
java.util.List; 


import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 


stone 
javas 


stone. 


chap6 
chap6 
chap6 
chap7 
chap7 
chap7 
chap7 
chap9 


.StoneException; 
sist.gluonj.*; 

ast.*; 

.Environment; 
.BasicEvaluator.ASTreeEx; 
.BasicEvaluator; 
.FuncEvaluator; 
.NestedEnv; 
.FuncEvaluator.EnvEx; 
.FuncEvaluator.PrimaryEx; 
.StoneObject.AccessException; 


GRequire (FuncEvaluator.class) 
GReviser public class ClassEvaluator { 
GReviser public static class ClassStmntEx extends ClassStmnt { 


) 


publ 
publ 


ic ClassStmntEx(List«ASTree» c) { super(c); } 
ic Object eval(Environment env) { 

ClassInfo ci - new ClassInfo(this, env); 
((EnvEx)env).put(name(), ci); 

return name(); 


GReviser public static class ClassBodyEx extends ClassBody { 


) 


publ 
publ 


ic ClassBodyEx(List«ASTree» c) ( super(c); } 

ic Object eval(Environment env) ( 

for (ASTree t: this) 
((ASTreeEx)t).eval(env); 

return null; 


GReviser public static class DotEx extends Dot { 


publ 
publ 


) 


prot 


ic DotEx(List«ASTree» c) ( super(c); } 

ic Object eval(Environment env, Object value) { 

String member - name(); 

if (value instanceof ClassInfo) ( 

if ("new".equals (member)) { 

ClassInfo ci = (ClassInfo)value; 
NestedEnv e = new NestedEnv(ci.environment()); 
StoneObject so - new StoneObject(e); 
e.putNew("this", so); 
initObject(ci, e); 
return So; 


) 


else if (value instanceof StoneObject) { 


try ( 
return ((StoneObject)value).read (member); 


) catch (AccessException e) {} 
) 


throw new StoneException("bad member access: " + member, this); 


ected void initObject(ClassInfo ci, Environment env) ( 
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) 


GReviser public static class AssignEx extends BasicEvaluator.BinaryEx ( 


if (ci.superClass() !- null) 
initObject(ci.superClass(), env); 
((ClassBodyEx)ci.body()).eval(env); 


) 


public AssignEx(List«ASTree» c) { super(c); 
GOverride 


) 


9.3 ”实现 eval 方法 


protected Object computeAssign(Environment env, Object rvalue) { 


ASTree le - left(); 

if (le instanceof PrimaryExpr) ( 
PrimaryEx p = (PrimaryEx)le; 
if (p.hasPostfix(0) && p.postfix(0) 


if (t instanceof StoneObject) 


return setField((StoneObject)t, 


rvalue); 


) 


return super.computeAssign(env, rvalue); 


) 


instanceof Dot) { 
Object t = ((PrimaryEx)le).evalSubExpr(env, 1); 


(Dot)p.postfix(0), 


protected Object setField(StoneObject obj, Dot expr, Object rvalue) 


String name - expr.name(); 
try ( 
obj.write(name, rvalue); 
return rvalue; 
} catch (AccessException e) { 


throw new StoneException("bad member access " + location() 


+": " + name); 


{ 
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EER Classinfo.java 





package chap9; 


import 
import 
import 
import 


stone.StoneException; 
stone.ast.ClassBody; 
stone.ast.ClassStmnt; 
chap6.Environment; 


public class ClassInfo { 
protected ClassStmnt definition; 
protected Environment environment; 


protected ClassInfo superClass; 
public ClassInfo(ClassStmnt cs, Environment env) 


definition - cs; 


environment - env; 
Object obj = env.get(cs.superClass()); 
if (obj == null) 


superClass - null; 
else if (obj instanceof ClassInfo) 
superClass = (ClassInfo)obj; 
else 
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throw new StoneException("unknown super class: " + cs.superClass(), 
cs); 
) 
public String name() ( return definition.name(); } 
public ClassInfo superClass() ( return superClass; } 
public ClassBody body() ( return definition.body(); } 
public Environment environment() { return environment; } 
GOverride public String toString() ( return "<class " + name() + ">"; } 





TERR StoneObject.java 


package chap9 
import chap6.Environment; 
import chap7.FuncEvaluator.EnvEx; 





public class StoneObject ( 
public static class AccessException extends Exception {} 
protected Environment env; 
public StoneObject(Environment e) { env = e; } 
GOverride public String toString() { return "«object:" + hashCode() + ">"; } 
public Object read(String member) throws AccessException { 
return getEnv (member).get (member); 
) 
public void write(String member, Object value) throws AccessException { 
( (EnvEx) getEnv (member)).putNew(member, value); 


) 


protected Environment getEnv(String member) throws AccessException { 


Environment e = ((EnvEx)env).where (member); 
if (e !- null && e -- env) 

return e; 
else 


throw new AccessException(); 





EX. mumauxAm 


从 实现 的 角度 来 看 ， 如 何 设 计 stoneobject 对 象 的 内 部 结构 才 是 最 重要 的 。 也 就 是 说 ， 如 
何 通过 Java 语言 的 对 象 来 表现 Stone 语言 的 对 象 。 其 实 ， 实现 的 方式 多 种 多 样 ， 本 书 没有 选择 使 
用 Java 语言 的 数组 来 实现 ， 而 是 采用 了 闭 包 的 表现 方式 。 换 言 之 ,我 们 将 利用 环境 能 够 保存 字 
段 值 的 特性 来 表示 对 象 。 





























( mw essen | 
老师 ， 没 必要 特地 挑 比较 难 懂 的 方法 吧 。 
B 但 是 闭 包 可 以 重复 利用 已 有 的 实现 ， 很 容易 就 能 为 Stone 语言 添加 对 象 支持 。 
D] 而 且 使 用 函数 闭 包 的 话 ， 不 需要 类 或 对 象 之 类 的 特殊 的 语法 结构 也 能 实现 对 象 的 表示 。 这 一 
点 是 很 重要 的 。 
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回 没 错 。 这 样 一 来 ， 就 连 Scheme 语言 也 能 用 于 面向 对 象 程序 设计 。 

回 不 过 这 么 做 的 话 ， 运 行 速度 会 很 慢 吧 。 

B 这 要 看 闭 包 是 具体 如 何 实现 的 了 。 本 书 之 后 还 会 讨论 如 何 优化 执行 速度 ， 本 章 就 先 将 注意 力 
(o 集中 在 怎样 通过 闭 包 来 实现 对 象 功能 吧 。 J 





































































































StoneObject 对 象 主要 应 保存 Stone 语言 中 对 象 包含 的 字段 值 ， 可 以 说 它 是 字段 名 称 与 字 
段 值 的 对 应 关系 表 。 从 这 个 角度 来 看 ， 环 境 作为 变量 名 称 与 变量 值 的 对 应 关系 表 ， 与 对 象 的 作用 
非常 类 似 。 沿 用 环境 的 设计 思路 来 表现 对 象 并 非 异想天开 。 

如 果 将 对 象 视 作 一 种 环境 ， 就 很 容易 实现 对 该 对 象 自 身 ( 也 就 是 Java 语言 中 this 指 代 的 
对 象 ) 的 方法 调用 与 字段 访问 。 方 法 调用 与 字段 访问 可 以 通过 this.x 实 现 ， 其 中 ， 指 代 自 身 
W tnis. 能 够 省 略 。 下 面 是 一 个 例子 。 


class Position { 


























x=y=0 
def move (nx, ny) { 
o er 3 ms NT 
} 
} 








该 例 中 ， 出 现 于 move 方法 内 的 x 乍 看 是 一 个 局 部 变量 ， 其 实 它 是 this .x 的 省 略 形式 ， 表 
示 xX 字 段 。 这 类 x 的 实现 比较 麻烦 。 如 果 将 move 方法 的 定义 视 作 函数 定义 , x 与 y 都 属于 自由 


变量 。 参 数 nx 5 ny 则 是 约束 变量 。 



























































三 四 什么 是 自由 变量 ? | 
回 人 君 ， 之 前 不 是 提 到 过 嘛 。 自 由 变量 指 的 是 函数 参数 及 布局 变量 以 外 的 参数 。 
| B 没 钳 ， 它 们 的 初始 值 由 外 部 决定 ， 无 法 由 der 语句 的 内 部 语句 判断 。 | 

















如 果 方 法 内 部 存在 x 这 样 的 自由 变量 ， 该 变量 就 必须 指向 ( 绑 定 ) 在 方法 外 部 定义 的 字段 。 
这 与 财 包 的 机 制 类 似 。 例 如 ， 下 面 的 函数 position 将 返回 一 个 闭 包 。 


def position () ( 
x=y=0 
fun (nx, ny) ( 
Z= n y= ny 
} 
} 








此 时 ，position 函数 的 局 部 变量 x 将 赋值 给 返回 的 闭 包 中 的 变量 x (与 x 绑 定 )。 对 比 两 
者 即 可 发 现 ， 闭 包 与 方法 都 会 将 内 部 的 变量 名 与 外 部 的 变量 (字段 ) 绑 定 。 

我 们 将 利用 这 种 相似 性 来 实现 Stone 语言 的 类 与 对 象 。 

在 通过 .new 创建 新 的 StoneObject 对 象 时 ,解释 器 将 首先 创建 新 的 环境 。stoneObject 对 
象 将 保存 该 环境 ， 并 向 该 环境 添加 由 名 称 chis 与 自身 组 成 的 名 值 对 。 
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之 后 ， 解 释 器 将 借助 该 环境 执行 类 定义 中 由 大 括号 () 括 起 的 主体 部 分 。 与 执行 国 数 体 时 
一 样 ， 只 需 调用 表示 主体 的 抽象 语法 树 的 eval 方法 即 可 完成 这 一 操作 。 这 对 应 于 Java 等 语言 
中 的 构造 函数 调用 。 主 体 部 分 执行 后 ， 类 定义 中 出 现 的 字段 名 与 方法 名 以 及 相应 的 值 都 将 被 环境 
记录 。 

在 执行 过 程 中 ， 如 果 需 要 为 首次 出 现 的 变量 赋值 ， 解 释 需 将 向 环境 添加 由 该 变量 的 名 称 
与 值 组 成 的 名 值 对 。 它 们 本 质 上 是 一 些 新 定义 的 字段 ， 因 此 环境 中 新 增 的 名 称 其 实 都 是 字段 
名 。 此 外 , Hi def 语句 实现 的 方法 定义 的 执行 方式 与 函数 定义 类 似 ， 解释 右 都 会 将 由 函数 名 
与 Function 对 象 组 成 的 名 值 对 添加 至 环境 中 。 这 些 名 称 其 实 并 非 函 数 名 ， 而 是 方法 名 。 

尽管 方法 中 含有 对 自身 包含 字段 及 方法 的 引用 ,解释 器 的 实现 也 并 不 复杂 。 由 于 这 些 字段 名 
与 方法 名 通过 外 部 环境 记录 ， 因 此 与 闭 包 相同 的 实现 方式 就 能 够 正确 处 理 这 些 信息 。 即 使 函数 中 
存在 对 全 局 变量 的 引用 ， 和 情况 依然 如 此 。 

由 DotEx i*i] Dot 类 添加 的 eval 方法 与 initobject 方 法 将 完成 以 上 一 系列 
的 处 理 。 抽 象 语法 树 中 其 他 的 类 的 eval 方法 无 需 为 本 章 进 行 特别 修改 。 我 们 只 需 为 抽象 
语法 树 中 新 增 的 classBody 类 添加 eval 方法 即 可 。 该 eval 方法 与 第 6 章 代 人 码 清单 6.3 
为 BlockStmnt 类 添加 的 eval 方法 相同 ， 并 无 不 同 寻常 之 处 。 只 要 完成 这 些 修改 ， 方 法 体 中 
出 现 的 chis. 就 能 省 略 , 仅 赁 单个 x 就 能 表示 this .x。 解 释 器 将 采用 与 处 理 闭 包 类 似 的 方式 正 
确 处 理 这 些 信息 。 
















































































| 加 通过 环境 来 记录 字段 值 的 话 ， 字 段 的 读 写 不 就 等 同 于 环境 的 读 写 了 嘛 。 ) 











由 于 字段 名 与 字段 值 的 对 应 关系 由 环境 记录 ， 代 人 码 清单 9.8 中 stoneObject 类 的 
read 与 write 方法 将 分 别 从 环境 中 读 取 或 更 新 字段 的 值 。 无 论 是 读 取 还 是 更 新 ,它们 都 会 首先 
通过 getEnv 方法 查找 记录 了 字段 名 值 对 的 环境 。 如 果 记 录 没 有 保存 在 任何 环境 内 ， 或 查找 到 的 
环境 不 是 StoneObject 对 象 的 成 员 ( 即 e == env 不成立 )， 解 释 器 将 认为 目标 字段 不 存在 并 
报错 。 


[^ 最 后 的 如 果 e -- env 不 成 立 就 报错 ， 我 不 是 很 理解 。 我 觉得 只 要 不 是 nul11 的 话 ，e == | 





















































env 肯定 会 成 立 吧 。 














StoneObject 对 象 含有 的 环境 的 outer 字段 并 不 是 null。 该 outer 字段 指向 的 外 层 环 
境 用 于 执行 class 语句 ， 对 类 进行 定义 。 该 环境 也 会 记录 全 局 变量 信息 。 借 助 该 环境 ， 方 法 将 
能 从 内 部 引用 全 局 变量 。 

因此 ， Stoneobject 对 象 的 read 与 write 方法 在 通过 getEnyv 方法 找到 含有 所 需 字段 的 
环境 后 ， 必 须 确 认 它 并 非 用 于 记录 全 局 变量 的 环境 。 和 否则 ， 如 果 用 于 保存 字段 的 环境 中 不 存在 
字段 value， 而 用 于 保存 全 局 变量 的 环境 中 含有 同名 的 全 局 变量 ， 即 使 根据 规则 Stone 语言 表达 
式 p.value 本 不 应 该 访问 全 局 变量 ， 它 仍 将 引用 该 全 局 变量 的 值 。 
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(a 如 果 outer 是 全 局 变量 的 环境 ， 就 能 在 方法 内 部 引用 全 局 变量 吗 ? 能 不 能 再 跟 我 解释 下 ? | 





















































与 函数 一 样 ， 执 行 方法 的 环境 也 具有 骨 套 结构 (图 9.3 )。 首 先 ， 表 示 最 内 层 作 用 域 的 环境 用 





于 记录 参数 及 局 部 变量 。 该 环境 的 out er 字段 指向 的 外 层 环境 记录 了 执行 该 方法 的 Stone 语言 
对 象 的 字段 与 方法 。 也 就 是 说 ， 该 环境 由 一 个 StoneObject 对 象 保存 。 更 外 层 的 环境 必须 用 于 
记录 全 局 变量 。 这 样 一 来 ， 方法 中 出 现 的 变量 名 无 论 是 参数 、 局 部 变量 、 字 段 名 、 方 法 名 还 是 全 
局 变量 名 ， 都 能 通过 已 有 的 eval 方法 正确 处 理 。 解 释 需 将 从 表示 最 内 层 作 用 域 的 环境 起 ， 逐 层 
向 外 查找 变量 名 。 正 因 如 此 ， 我 们 必须 按照 前 文 所 述 ， 检 查 e == env 是 否 成 立 。 





















































( Ei 说 起 来 ， 关 的 继承 功能 有 没有 实现 ? 包括 方法 的 覆盖 之 类 的 " j 
Bl Dot 类 新 增 的 initobject 方法 支持 递归 调用 ， 因 此 父 类 的 实现 已 经 完成 了 。 









































DL] 只 要 递归 调用 该 方法 就 能 得 到 需要 的 父 类 ， 之 后 所 有 继承 的 类 的 字段 与 方法 都 会 被 添加 到 环 





Bp, 








对 吧 ? 











A 还 要 
































到 递归 调用 ， 这 种 做 法 有 点 令 人 讨厌 。 循 环 不 可 以 吗 ? 























回 ^A 君 ， 





段 与 方法 。 你 没 觉得 这 种 ' 


这 是 为 了 从 最 上 层 父 类 ( 相当 于 Java 语言 中 的 java.lang.Object ) 开 始 依次 添加 字 
和 清 况 下 递归 调用 写 起 来 更 容易 吗 ? 




































































Dl 原来 如 此 ， 而 且 这 样 一 来 ， 方 法 的 覆盖 自然 也 就 实现 了 。 


为 什么 ? 




















D 假设 我 们 要 在 子 类 重新 定义 方法 m 的 def 语句 。 由 于 子 类 的 def 语句 将 在 父 类 的 def 语句 之 





后 执行 ， 子 类 的 方法 m 会 较 晚 被 添加 到 环境 中 ， 从 而 覆盖 之 前 的 版 本 。 




























































































B 不 过 这 样 的 话 ， 被 覆盖 的 原 方法 就 无 法 调用 了 呀 。 在 Java 语言 里 是 能 通过 super 来 调用 者 
类 方法 的 。 该 怎么 办 才 好 呢 ? 
(a 这 个 功能 的 设计 就 留 作 读者 的 课 后 习题 吧 …… | 





env 


执行 







































































Tus 
全 局 变量 
的 环境 
于 记录 字 
段 与 方法 的 
NestedEnv 
对 象 














NestedEnv 
对 象 
NestedEnv 

对 象 


方法 时 涉及 的 环境 
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EXÀ. 运行 包 售 类 的 程序 

至 此 ，Stone 语言 已 经 可 以 支持 类 与 对 象 的 使 用 。 与 之 前 一 样 ， 最 后 将 要 介绍 的 是 解释 器 主 
体 程 序 与 相应 的 启动 程序 。 

请 参见 代码 清单 9.9 与 代码 清单 9.10。 


ER Classinterpreter.java 


package chap9; 
import stone.ClassParser; 

















import stone.ParseException; 
import chap6.BasicInterpreter; 
import chap7.NestedEnv; 

import chap8.Natives; 


public class ClassInterpreter extends BasicInterpreter { 
public static void main(String[] args) throws ParseException { 
run(new ClassParser(), new Natives().environment (new NestedEnv())); 





ET ClassRunner.java 


package chap9; 

import javassist.gluonj.util.Loader; 
import chap7.ClosureEvaluator; 
import chap8.NativeEvaluator; 


public class ClassRunner { 
public static void main(String[] args) throws Throwable ( 
Loader.run(ClassInterpreter.class, args, ClassEvaluator.class, 
NativeEvaluator.class, ClosureEvaluator.class); 
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[ B 我 本 想 把 数组 的 实现 留 作 读者 习题 来 着 。 | 
Dl 恐怕 有 点 难 。 
B 但 如 果 我 来 讲解 ， 就 好 夺 了 读者 自己 试 错 的 乐趣 了 吧 。 

| 回 这 么 想 的 读者 也 许 有 很 多 ， 但 我 觉得 还 是 有 必要 讲解 一 下 数组 的 实现 。 | 











































































































数组 (array ) 是 几乎 所 有 程序 设计 语言 都 会 提供 的 一 种 基本 的 语法 功能 。 本 章 将 为 Stone i$ 
言 增加 对 数组 的 支持 。 提 到 增加 对 数组 的 支持 ， 虽 说 直接 实现 关联 数组 也 是 一 个 不 错 的 想法 ， 
不 过 本 章 将 仅 实现 简单 的 数组 功能 ， 下 标 (index ) 只 能 使 用 整数 值 。 与 Java 语言 的 数组 相同 ， 
Stone 语言 的 数组 长 度 无 法 中 途 修改 。 






























































[ 四 什么 是 关联 数组 ? | 
O 关联 数组 指 的 是 下 标 能 够 使 用 字符 串 或 其 他 任意 类 型 的 值 的 数组 。 也 就 是 哈 希 表 啦 。 
L Bi 例如 ，a["apple"] = 100 这 样 的 数组 a 就 是 一 个 关联 数组 。 J 











上 CA 扩展 语法 分 析 器 
如 果 Stone 语言 支持 数组 功能 ， 就 能 写 出 下 面 这 样 的 程序 。 








E a op 2p e] 

print a[1] 

a[1] = "three" 

prine ae see sex rat] 

lo e Merat 3]. [UU 2 
oxi CITROEN IS BT TETTE 


第 1 行 的 [2,3,4] 将 创建 一 个 长 度 为 3 的 数组 并 初始 化 各 个 元 素 的 值 。Java 语言 中 使 用 的 
是 大 括号 (). Stone 语言 则 使 用 中 括号 [] 。 数 组 的 元 素 可 以 通过 a[11] 的 形式 引用 。 

数组 中 的 元 素 无 需 保 持 类 型 一 致 。 以 第 5 行 的 代码 为 例 ， 一 个 数组 中 能 同时 以 字符 串 与 整 
数 作 为 元 素 。 数 组 也 能 以 另 一 个 数组 作为 元 素 ， 数 组 b 就 是 一 个 例子 。 与 Java 语言 的 数组 一 样 ， 
Stone 语言 也 通过 以 数组 作为 元 素 的 数组 来 表现 多 维 数组 。 例 如 ， 数 组 b 的 第 1 个 元 素 表示 数 
组 ["two",2] ， 因 此 b[1] [0] 将 表示 数组 中 第 1 个 元 素 的 第 0 个 元 素 ， 即 "two", 


P 
i B 创建 数组 时 用 的 是 [] 而 不 是 {} ， 跟 Ruby 有 点 像 呢 。 | 










































































B UR, 其实 JavaScript 也 是 用 [] 的 。 
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为 了 使 程序 支持 数组 ， 我 们 需要 扩展 语法 规则 。 代 码 清单 10.1 是 扩展 后 的 语法 规则 。 其 中 
仅 摘 选 了 与 第 7 章 ( 第 7 天 ) 代码 清单 7.1 中 不 同 的 非 终结 符 。 


下 ?一 [e 朋 目 与 数组 相关 的 语法 规则 





elements: expr { "," expr } 
primary : ( "[" [ elements ] "]" | "(" expr ")" 

| NUMBER | IDENTIFIER | STRING ) { postfix } 
postfix H "(n [ args ] njn | "[" expr "] n" 

















首先 ， 我们 需要 为 整 型 字面 量 及 标识 符 ( 即 变量 名 ) 等 最 基本 的 表达 式 构成 元 素 添 加 数组 字 
面 量 的 支持 。 请 参见 非 终结 符 primary 的 语法 规则 。 数 组 字面 量 由 数组 元 素 的 初始 值 序列 及 两 
侧 的 中 括号 [] 组 成 。 数 组 元 素 的 初始 值 序列 由 非 终结 符 elements 表示 。 字 面 量 是 一 种 表达 
式 ， 它 的 计算 或 执行 结果 表示 对 应 字符 序列 的 值 或 对 象 。 由 于 2, 3, 41 的 计算 结果 是 一 个 含 
有 元 素 2、3、4 的 数组 ， 因 此 它 也 属于 一 种 字面 量 。 

此 外 ， 为 了 证 解释 天 能 够 引用 数组 元 素 ， 非 终结 符 postfix 的 语法 规则 也 需要 做 相应 的 
修改 。 修 改 后 ， 标 识 符 ( 或 数组 字面 量 ) 之 后 要 能 够 后 接 由 中 括号 [] 括 起 的 下 标 。 经 过 这 一 修 
WU, postfix 不 仅 能 用 于 表示 实 参 序 列 ， 还 会 支持 数组 下 标 。 


TAERA ArayParser.java 


package stone; 

import static stone.Parser.rule; 
import javassist.gluonj.Reviser; 
import stone.ast.*; 





























GReviser public class ArrayParser extends FuncParser { 


Parser elements - rule(ArrayLiteral.class) 
.ast(expr).repeat(rule().sep(",").ast(expr)); 
public ArrayParser() { 
reserved.add("]"); 
primary.insertChoice (rule().sep("[").maybe(elements).sep("]")); 
postfix.insertChoice (rule (ArrayRef.class).sep("[").ast(expr).sep("]")); 





MALMES] ArayLiteral.java 


package stone.ast; 
import java.util.List; 





public class ArrayLiteral extends ASTList ( 
public ArrayLiteral(List«ASTree» list) { super(list); } 
public int size() ( return numChildren(); } 


) 

















(a 接 下 来 就 要 扩展 语法 分 析 器 了 ， 我 们 需要 为 代码 清单 9.2 中 的 ClassParser 定义 一 个 子 类 | 
对 吧 ? 
| B 不 ， 这 次 我 们 不 会 使 用 子 类 ， 而 要 使 


























三 
[s 
Mr 
E 
o 
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接 下 来 ,我 们 根据 新 的 语法 规则 来 扩展 语法 分 析 器 。 代 码 清 单 10.2 是 需要 使 用 的 修改 器 。 
代码 清单 10.3 与 代码 清单 10.4 是 抽象 语法 树 中 新 增 的 节点 类 ， 该 修改 器 需要 借助 它们 实现 。 
代码 清单 10.2 的 修改 器 将 为 第 7 章 代 码 清单 72 中 的 FuncParser 类 添加 elements 字 





段 ， 并 在 构造 函数 中 更 新 相应 的 处 理 





H 


Lo 





fe itas B CERERA, 3 aaa 方法 向 由 reserved 字 段 (第 5 章 代 码 清单 52 定义 ) 














表示 的 哈 布 表 中 添加 了 右 中 括号 ] 。 


释 需 将 无 法 在 语法 分 析 阶 段 把 它 处 理 为 一 种 分 隅 符 ， 也 就 无 法 顺利 





于 是 ，] 不 会 














— Am 


运行 。 


postfix 也 都 分 别 通过 insertChoice 方法 添加 了 对 新 语法 规则 的 支持 。 


ER ArayRefjava 


再 被 识别 为 标识 符 。 如 果 忘 了 添加 这 个 符号 ， 解 
此 外 ，primary 5 





package stone.ast; 
import java.util.List; 


public class ArrayRef extends Postfix { 


public ArrayRef (List«ASTree» 
public ASTree index() 
public String toString() 


) 


c) 


( super(c 
( return child(0); ] 
( return "[" + index() + "]"; } 


ig 




















( 回 为 什么 这 里 不 


子 类 ， 而 要 用 修改 器 呢 ? 


[3 如 果 ArrayParser 是 ClassParser 的 子 类 ， 当 我 们 需要 让 Stone 语言 支持 数组 时 ， 就 不 

























































































得 不 同时 加 入 用 于 处 理 数组 的 ArrayParser 类 以 及 用 于 处 理 类 的 ClassParsero 
这 也 没什么 问题 吧 ， 而 且 这 样 一 来 类 也 能 用 了 。 
B 第 11 天 将 会 讨论 通过 改写 eval 方法 的 实现 来 提高 运行 速度 的 问题 。 由 于 届时 采用 的 











现 方式 很 难 支持 类 与 对 象 的 功能 ， 我 





回 原来 如 此 。 
回 其 实 我 希望 能 够 








自由 选择 是 否 向 Stone i8 














门将 设计 

















加 嗯 ， 如 果 我 们 使 
能 





种 仅 支 持 函 数 与 数组 的 Stone 语言 。 


言 添加 类 或 是 数组 的 功能 。 
修改 器 来 实现 ， 就 能 够 做 到 这 点 。 
不 能 把 ArrayParser 作为 FuncParser 的 子 类 ? 这 样 一 来 , ArrayParser E ClassParser 


就 都 是 父 类 FuncParser 的 子 类 了 ， 这 被 称 为 兄弟 类 对 吧 ? 


Il A 君 ， 可 不 能 这 么 做 啊 。 
B 嗯 ， 这 样 的 话 就 无 ; 


p, HA, Java 语言 
































回 确实 ， 如 果 能 使 用 多 重 继承 ， 我 们 曾 

















ip 使 用 类 与 数组 Ta 
恩 ， 能 这 样 的 话 是 不 错 ， 不 过 ， 


IDA 



































同时 使 用 ArrayParser 5 ClassParser To 
具有 不 支持 多 重 继承 的 局 限 性 。 老 师 ， 我 说 的 没 错 吧 ? 
能 定义 继承 了 这 两 个 类 的 








新 的 实 


ArrayAndClassParser, [E] 






































£m oes 





mixin 3X traits 那些 更 合适 的 手段 。 
回 S 君 ， 如 果 我 们 不 使 用 修改 器 的 话 ， 老 明 








可 能 就 会 让 我 们 通 











很 难 实现 。 如 果 要 使 























多 重 继 承 ， 我 们 需 


过 mixin 或 traits 之 类 来 实现 数组 了 





使 
X 


: 
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DA NETRE RENAA 


我 们 只 要 为 抽象 语法 树 中 新 增 的 节点 类 添加 eval 方法 ， 就 能 让 Stone 语言 支持 数组 。 代 码 
清单 10.5 是 用 于 添加 eval 方法 的 修改 器 的 具体 实现 。 

该 修改 央 需 要 使 用 FuncEvaluator 与 Ar+ayParser 这 两 个 修改 器 。 修 改 器 首部 的 @ 
Require 标记 也 反映 了 这 点 。 因 此 ， 应 用 ArrayEvaluator 修改 髓 将 同时 隐 式 地 应 用 另外 两 
^M ME URS o 

ArrayEvaluator [EUG B Jc IER TBI T GS ArrayLiteral 5 ArrayRef 添 
加 eval 方法 。 前 者 表示 数组 字面 量 ， 后 者 用 于 表示 数组 元 素 的 引用 。Stone 语言 的 数组 将 通过 
Java 语言 中 Object 类 型 的 数组 表现 。ArrayLiteral 类 的 eval 方法 将 依次 对 元 素 表示 的 表 
达 式 调用 eval 方法 ， 之 后 再 创建 一 个 由 返回 值 构成 的 object 类 型 数组 并 返回 。 

ArrayRef 类 的 eval 方法 将 首先 对 下 标 表达 式 调用 eval 方法， 计算 下 标的 值 。 之 
后 ， 它 将 从 参数 value 指向 的 object 类 型 数组 中 获取 与 该 下 标 对 应 的 元 素 的 值 并 返回 。 这 
里 的 eval 方法 覆盖 了 第 7 章 代 码 清单 7.7 中 由 FuncEvaluator 修改 器 为 Postfix 类 添加 
的 eval 方法 。 

数组 也 可 能 出 现在 赋值 表达 式 的 左 侧 ， 我 们 需要 用 凑 BinaryExpr 类 的 computeAssign 方 
法 来 处 理 这 种 情况 。 该 方法 最 初 在 第 6 章 代 码 清单 6.3 中 由 修改 器 添加 。 


(m 这 就 结束 了 吗 ? 真 简单 呀 。 
Bl 我 们 用 了 Java 语言 的 Object 类 型 数组 来 表现 Stone 语言 的 数组 ， 实 现 起 来 很 容易 。 




















































































































代码 清单 10.6 是 解释 器 的 启动 程序 ， 它 将 整合 并 执行 修改 后 的 程序 。 由 于 数组 功能 完全 由 
修改 器 实现 ， 因 此 这 次 我 们 不 需要 对 解释 器 作 修改 。 代 码 清单 10.6 直接 使 用 了 上 一 章 代 码 清 单 
9.9 中 的 解释 需 。 代 码 清单 10.6 中 的 启动 程序 在 原 有 基础 上 又 通过 ArrayEvaluator 修改 了 解 
释 器 ， 使 得 在 Stone 语言 中 使 用 数组 成 为 可 能 。 

由 于 ArrayEvaluator 修改 器 独立 于 ClassEvaluator 修改 器 ， 因 此 仅 支 持 函 数 与 闭 包 
的 Stone 语言 处 理 需 也 能 应 用 这 些 修改 。 第 7 章 代码 清单 7.17 所 示 的 处 理 带 就 是 一 例 。 为 了 让 它 
支持 数组 ， 我 们 需要 修改 代码 清单 7.18 中 的 启动 程序 ， 添 加 对 ArrayEvaluator 修改 顺 的 应 
用 。 由 此 我 们 将 得 到 一 个 能 够 使 用 函数 、 闭 包 与 数组 功能 但 不 支持 类 的 Stone 语言 处 理 器 。 具 体 
KIF, main 方法 应 像 下 面 这 样 修改 。 


Loader.run(ClosureInterpreter.class, args, 




















ClosureEvaluator.class, chaplO0.ArrayEvaluator.class); 











通过 修改 器 来 扩展 解释 器 有 助 于 使 程序 结构 模块 化 ， 不 同 的 模块 能 够 轻松 组 合 。 只 需 改变 使 
用 的 修改 姻 ， 我 们 就 能 实现 仅 支 持 函 数 与 类 的 、 仪 支持 函数 与 数组 的 ， 或 同时 支持 函数 与 类 与 数 
组 的 Stone 语言 处 理 融 ， 而 不 必 根 据 需 要 修改 已 有 的 程序 。 
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(a 也 就 是 说 ， 包 括 语法 分 析 器 在 内 ， 所 有 


是 的 。 


的 功能 扩 














展 都 通过 修改 器 来 实现 会 更 好 咯 ? 

















那 为 什么 不 一 开始 就 这 么 做 呢 ? ClassParser 之 类 不 也 可 以 
A 君 ， 这 种 问题 就 留 到 最 后 悄悄 地 问 吧 ……: 

没关系 。 一 开始 我 尽 可 能 避免 使 用 修改 器 是 为 了 便于 读者 理解 。 
那 现在 开始 重 写 之 前 的 内 容 吧 ? 
主意 倒 还 不 错 ， 但 还 是 以 后 再 说 吧 …… 


Aa 
== 


这 主意 




































































mgmtmHIaLm 


























修改 器 来 实现 吗 ? 











AEREA ArayEvaluator.java 





package chap10; 

import java.util.List; 

import javassist.gluonj.*; 

import stone.ArrayParser; 

import stone.StoneException; 

import stone.ast.*; 

import chap6.Environment; 

import chap6.BasicEvaluator; 

import chap6.BasicEvaluator.ASTreeEx; 
import chap7.FuncEvaluator; 

import chap7.FuncEvaluator.PrimaryEx; 


GRequire((FuncEvaluator.class, ArrayParser.class]) 
GReviser public class ArrayEvaluator { 


GReviser public static class ArrayLitEx extends ArrayLiteral { 


public ArrayLitEx(List«ASTree» list) 
public Object eval(Environment env) ( 


{ super (list); 


int s = numChildren(); 
Object[] res = new Object [s]; 
int i = 0; 
for (ASTree t: this) 
res[i++] = ((ASTreeEx)t).eval(env); 


return res; 


} 
} 


) 


GReviser public static class ArrayRefEx extends ArrayRef { 


public ArrayRefEx(List«ASTree» c) { super(c); } 
public Object eval(Environment env, Object value) { 
if (value instanceof Object[]) ( 
Object index - 
if (index instanceof Integer) 
return 
) 
throw new StoneException("bad array access", 
) 
) 


((ASTreeEx)index()).eval(env); 
( (Object [] ) value) [ (Integer) index] ; 


this); 


@Reviser public static class AssignEx extends BasicEvaluator.BinaryEx { 


public AssignEx(List<ASTree> c) 
GOverride 


( super(c); } 


protected Object computeAssign(Environment env, Object rvalue) ( 
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ASTree le = left(); 
if (le instanceof PrimaryExpr) ( 


PrimaryEx p = (PrimaryEx)le; 
if (p.hasPostfix(0) && p.postfix(0) instanceof ArrayRef) [ 
Object a = ((PrimaryEx)le).evalSubExpr(env, 1); 
if (a instanceof Object []) { 
ArrayRef aref - (ArrayRef)p.postfix(0); 
Object index - ((ASTreeEx)aref.index()).eval(env); 
if (index instanceof Integer) ( 
( (Object [] )a) [(Integer)index] = rvalue; 


return rvalue; 


) 


throw new StoneException("bad array access", this); 


) 


return super.computeAssign(env, rvalue); 





ME ArayRunner.java 





package chap10; 


import 
import 
import 
import 
import 


public 


javassist.gluonj.util.Loader; 
chap7.ClosureEvaluator; 
chap8.NativeEvaluator; 
chap9.ClassEvaluator; 
chap9.ClassInterpreter; 


class ArrayRunner { 


public static void main(String[] args) throws Throwable { 


Loader.run(ClassInterpreter.class, args, ClassEvaluator.class, 
ArrayEvaluator.class, NativeEvaluator.class, 
ClosureEvaluator.class); 
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系 主任 的 工作 


这 难道 就 是 所 谓 的 管 
理 岗 ? 是 不 是 应 该 换 
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性 能 优化 篇 











优化 语言 处 理 需 性 能 的 手段 多 种 多 样 ， 多 数 手 段 的 核心 思想 都 在 于 提前 计算 好 能 够 计算 的 
值 。 由 于 程序 通常 会 包含 循环 或 递归 调用 语句 ， 一 部 分 逻辑 可 能 会 被 反复 执行 。 执 行 这 类 语句 
时 ， 有 些 计算 每 次 都 会 得 到 相同 的 结果 ， 因 此 ， 处 理 需 如 果 能 够 保存 之 前 的 计算 结果 ， 之 后 的 执 
行 过 程 就 能 省 略 这 部 分 计算 。 本 音 将 以 变量 值 的 读 写 为 例 ， 向 读者 介绍 基于 这 种 理念 的 语言 处 理 
如 性 能 优化 方式 。 























瑟 琴 放 、 通 过 简单 数组 来 实现 环境 


在 之 前 的 章节 中 ， 我 们 通过 环境 ( Environment 对 象 ) 来 管理 变量 名 与 变量 值 的 对 应 关系 。 
关于 这 种 环境 的 具体 的 类 定义 ， 请 参见 第 6 章 ( 第 6 天 ) 代码 清单 62 中 的 BasicEnv 类。 该 
类 通过 哈 希 表 保存 变量 的 名 称 与 值 之 间 的 对 应 关系 。 哈 希 表 的 算法 复杂 度 为 0(1)， 是 一 种 性 能 
优秀 的 数据 结构 ， 无 论 表 中 含有 多 少 元 素 ， 它 都 能 在 固定 时 间 内 完成 查找 操作 。 不 过 ， 哈 乔 表 
的 查找 速度 依然 不 算 非 常 迅 速 。 对 于 现在 的 Stone 语言 处 理 器 ， 哈 希 表 的 查找 时 间 是 一 笔 不 小 的 
开销 。 












































| B 要 优化 变量 读 写 的 话 ， 你 们 觉得 哪些 东西 是 能 够 事先 计算 的 ? | 

回 哈 希 值 ? 如 果 变量 名 不 变 ， 它 对 应 的 哈 希 值 也 不 会 改变 ， 我 们 可 以 先 计算 好 这 些 值 。 
回 还 有 吗 ? 
D] 还 可 以 通过 完美 哈 希 函数 一 次 获取 所 需 的 值 。 无 论 是 开放 寻 址 法 还 是 独立 表 链 寻 址 法 都 行 。 
只 要 确定 了 程序 内 容 ， 就 能 得 到 变量 的 个 数 ， 创 建 完全 哈 希 函数 应 该 不 是 一 件 难事 。 









































































































































































































































加 还 差 一 点 点 了 。 
加 saxa 
O 事实 上 ， 如 果 能 事先 获取 表 中 的 所 有 元 素 ， 也 就 是 变量 名 ， 我 们 就 完全 不 需 使 用 哈 希 表 了 。 
















































































| ”” 嗯 ， 这 么 说 也 不 对 ， 其 实 还 是 要 使 用 哈 希 表 ， 只 不 过 使 用 的 哈 希 表 结构 将 非常 简单 。 | 





























先 不 考虑 全 局 变量 ， 局 部 变量 的 数量 与 变量 名 将 在 函数 定义 完成 后 全 部 确定 ,程序 无 法 再 为 
函数 添加 局 部 变量 或 改变 变量 的 名 称 。 

仔细 观察 该 性 质 后 可 以 发 现 ， 能 够 用 简单 的 数组 来 实现 这 种 环境 。 假 如 函数 包含 局 部 变量 x 
与 y， 程 序 可 以 事先 将 x 设 为 数组 的 第 0 个 元 素 ， 将 y 设 为 第 1 个 元 素 ， 以 此 类 推 。 这 样 一 来 ， 
语言 处 理 带 引 用 变量 时 就 无 需 计 算 哈 希 值 。 也 就 是 说 ， 这 是 一 个 通过 编号 ， 而 非 名 称 来 查找 变量 
值 的 环境 。 
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CN 


D] 也 就 是 说 ，x 的 哈 希 值 为 0，y 的 为 1， 是 吗 ? | 
n 


你 这 么 理解 也 可 以 。 总 之 就 是 事先 确定 用 于 查找 的 哈 希 值 。 








为 了 实现 这 种 设计 ， 语 言 处 理 融 需要 在 函数 定义 完成 后 遍历 对 应 的 抽象 语法 树 节 点 ， 获 取 
该 节点 使 用 的 所 有 函数 参数 与 局 部 变量 。 遍 历 之 后 程序 将 得 到 函数 中 用 到 的 参数 与 局 部 变量 的 数 
量 ， 于 是 确定 了 用 于 保存 这 些 变 量 的 数组 的 长 度 。 语 言 处 理 器 还 需要 从 0 开始 依次 为 这 些 参数 与 
局 部 变量 分 配 编号 ， 确 定 变量 具体 保存 在 数组 中 的 哪 一 个 元 素 。 

之 后 ,语言 处 理 右 在 实际 调用 函数 ， 对 变量 的 值 进行 读 写 操作 时 ， 将 会 直接 引用 数组 中 的 元 
素 。 变 量 引 用 无 需 再 像 之 前 那样 通过 在 哈 希 表 中 查找 变量 名 的 方式 实现 。 























































































































ag 你 们 觉得 该 怎样 管理 每 个 变量 与 数组 元 素 的 对 应 关系 呢 ? ) 
四 反正 不 能 再 另外 准备 一 个 哈 希 表 来 记录 变量 名 与 数组 元 素 的 对 应 …… 
| Hl 这 样 就 不 能 说 是 在 实现 环境 时 没 使 用 哈 希 表 啦 。 J 























确定 变量 的 值 在 数组 中 的 保存 位 置 之 后 ， 这 些 信息 将 被 记录 于 抽象 语法 树 节 点 对 象 的 字段 
中 。 例如， 程序 中 出 现 的 变量 名 在 抽象 语法 树 中 以 Name 对 象 表示 。 这 一 Name 对 象 将 事先 在 
字段 中 保存 数组 元 素 的 下 标 ， 这 样 语言 处 理 带 在 需要 引用 该 变量 时 ， 就 能 知道 应 该 引用 数组 中 
的 哪 一 个 元 素 。Name XRAY eval 方法 将 通过 该 字段 来 引用 数组 元 素 ， 获 得 变量 的 值 。 
































( B 也 就 是 说 ， 不 必 在 程序 执行 时 通过 变量 名 来 查找 变 量 。 因 此 ， 即 使 变量 名 称 很 长 ， 运 行 速度 | 
也 不 会 减 慢 。 
回 C 语言 和 Java 语言 中 也 都 是 这 么 做 的 嘛 。 一 开始 没 反应 过 来 环境 的 性 能 优化 之 类 的 是 什么 
































/ENVCNO 
ES 


D 你 只 是 被 老师 故弄玄虚 的 说 法 给 迷惑 啦 ! FE J 




















事实 上 ， 如 果 希 望 在 Name 对 象 的 字段 中 保存 变量 的 引用 ， 仅 赁 数组 元 素 仍然 不 够 ， 还 需要 
同时 记录 与 环境 对 应 的 作用 域 。 环 境 将 以 做 套 结构 实现 闭 包 。 为 此 ，Environment 对 象 需要 通 
过 outer 字段 串 连 。 此 外 ，Name 对 象 还 要 记录 环境 所 处 的 层 数 ， 即 从 最 内 层 向 外 数 起 ， 当 前 
环境 在 这 一 连 串 Environment 对 象 中 的 排序 位 置 。 该 信息 保存 于 Name 对 象 的 nest 字段 中 。 
index 字段 则 用 于 记录 变量 的 值 在 与 nest 字段 指向 的 环境 对 应 的 数组 中 ， 具 体 的 保存 位 置 。 

图 11.1 是 表示 x=2 的 抽象 语法 树 。 在 该 图 中 ， 变 量 x 的 值 保存 于 从 最 内 层 数 起 的 第 2 个 环 
境 对 应 的 数组 中 ， 因 此 Name 对 象 的 nest 字段 的 值 为 1 (如 果 是 最 内 层 ， 则 值 为 0 )。 由 于 变量 
x 的 值 保存 于 该 数组 的 第 3 个 元 素 中 ， 因 此 index 字 段 的 值 为 2。 读者 可 以 将 x=2 理解 为 一 条 
闭 包 中 的 表达 式 。 

为 了 实现 一 个 通过 数组 来 保存 变量 值 的 环境 ， 我 们 需要 像 代 码 清单 11.1 那样 新 定义 一 个 
ArrayEnv 类 。 该 类 提供 了 与 第 7 章 ( 第 7 天 ) 代码 清单 7.6 中 的 NestedEnv 类 几乎 相同 的 功 
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能 ， 实 现 了 Environment 接口 。 两 者 最 大 的 区 别 在 于 ，ArrayEnv 类 没有 使 用 哈 希 表 ， 仪 通过 
简单 的 数组 实现 了 变量 值 的 保存 。 需 要 注意 的 是 ， 尽 管 values 字段 指向 的 数组 保存 了 变量 的 
值 ， 并 没有 专门 的 数组 用 于 保存 变量 的 名 称 。 环 境 中 没有 记录 任何 变量 名 。 

由 于 上 述 原因 ， 这 种 实现 中 原 有 的 get 方法 与 put 方法 无 法 正确 执行 ， 也 就 是 说 ， 语 言 处 理 
器 无 法 以 变 量 名 为 键 查找 环境 或 更 新 变量 EE. WRIT, MSME. WE, RES 
定义 了 get 方法 与 put 方法 ,使 他 们 通过 Name 对 象 的 nest 与 index 字段 来 引用 变量 的 值 。 
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Xx=2 的 抽象 语法 树 与 环境 


rE ArrayEnv.java 


package chap11; 

import stone.StoneException; 
import chapll.EnvOptimizer.EnvEx2; 
import chap6.Environment; 





public class ArrayEnv implements Environment { 
protected Object[] values; 
protected Environment outer; 
public ArrayEnv(int size, Environment out) { 
values - new Object[sizel; 
outer - out; 
} 
public Symbols symbols() { throw new StoneException("no symbols"); } 
public Object get(int nest, int index) { 
if (nest == 0) 
return values [index]; 
else if (outer -- null) 
return null; 
else 
return ((EnvEx2)outer).get(nest - 1, index); 
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public void put (int nest, int index, Object value) ( 


if (nest == 0) 

values[index] - value; 
else if (outer -- null) 

throw new StoneException("no outer environment"); 
else 

((EnvEx2)outer).put(nest - 1, index, value); 


) 


public Object get(String name) { error(name); return null; } 
public void put (String name, Object value) { error (name); } 
public void putNew (String name, Object value) { error (name); } 
public Environment where (String name) { error (name); return null; } 
public void setOuter(Environment e) { outer = e; } 
private void error(String name) { 
throw new StoneException("cannot access by name: " + name); 
} 





EU 用 于 记录 全 局 变量 的 环境 


ArrayEnv 实现 了 用 于 记录 函数 的 参数 与 局 部 变量 的 环境 , 但 要 记录 全 局 变量 ,我 们 还 需要 
男 外 设计 一 个 不 同 的 类 ,使 用 该 类 的 对 象 来 实现 用 于 记录 全 局 变量 的 环境 。 除 了 ArrayEnv 类 
的 功能 ， 该 类 还 需要 随时 记录 变量 的 名 称 与 变量 值 的 保存 位 置 (也 就 是 数组 元 素 的 下 标 ) 之 间 的 
对 应 关系 。 它 不 仪 能 够 通过 编号 查找 变量 值 ， 还 能 通过 变量 名 找到 与 之 对 应 的 变量 值 。 

之 前 设计 的 Stone 语言 处 理 器 可 以 在 执行 程序 的 同时 以 对 话 的 形式 添加 新 的 语句 。 用 户 不 必 
一 次 输入 全 部 程序 ， 从 头 至 尾 完整 运行 。 因 此 ， 为 了 让 之 后 添加 的 语句 也 能 访问 全 局 变量 ， 我 们 
必须 始终 记录 变量 的 名 称 与 该 值 保存 位 置 的 对 应 关系 。 也 就 是 说 ,语言 处 理 带 必须 能 够 通过 变量 
名 查找 新 添加 语句 中 使 用 的 变量 值 的 保存 位 置 。 

男 一 方面 ， 局 部 变量 仅 能 在 函数 内 部 引用 。 苑 数 在 定义 完成 时 就 能 确定 所 有 引用 了 局 部 变量 
之 处 ， 且 之 后 无 法 新 增 。 这 时 ， 所 有 引用 该 变量 的 标识 符 都 会 在 各 自 的 Name 对 象 中 记录 它 的 保 
存 位 置 。 由 于 语言 处 理 吉 记录 了 这 些 信 息 之 后 便 无 需 再 了 解 变量 名 与 保存 位 置 的 对 应 关系 ， 因 此 
环境 不 必 记 录 变 量 的 名 称 。 作 为 用 于 记录 局 部 变量 的 环境 ，ArrayEnv 对 象 已 经 足够 。 







































































































































































H Ñ, 如 果 要 使 用 调试 器 ， 可 就 得 记录 布 忆 变 量 的 名 称 fo 
B 但 是 现在 我 们 还 不 会 涉及 调试 器 ， 所 以 就 不 考虑 这 些 了 。 



































代码 清单 11.2 中 的 ResizableArrayEnv 类 用 于 实现 记录 全 局 变量 的 环境 。 它 是 ArrayEnv 
的 子 类 。ArrayEnv 对 象 只 能 保存 固定 数量 的 变量 ，ResizapbleArrayEnv 对 象 则 能 保存 任意 
数量 的 变量 。 这 也 是 名 称 中 resizapble( 可 变 长 ) 的 由 来 。 

由 于 程序 新 增 的 语句 可 能 会 引入 新 的 全 局 变量 ， 因 此 环境 能 够 保存 的 变量 数量 也 必须 能 
够 修改 。ResizableArrayEnv 类 的 对 象 含 有 names 字段 ， 它 的 值 是 一 个 Symbols 对 象 。 
Symbols 对 象 是 一 张 哈 硕 表 ， 用 于 记录 变量 名 与 保存 位 置 之 间 的 对 应 关系 。 代 码 清单 11.3 是 











图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) 专 享 尊重 版 权 





128 | 第 11 天 优化 变量 读 写 性 能 


Symbols 类 的 定义 。 












































| D 结果 还 是 要 使 用 哈 希 表 不 是 嘛 。 | 
回 A 君 ， 现 在 只 有 在 记录 全 局 变量 时 才 需 要 用 到 哈 希 表 ， 局 部 变量 已 经 不 需要 使 用 哈 希 表 了 。 
B 而 且 ， 即 使 是 在 函数 内 引用 全 局 变量 ， 也 不 再 需要 通过 变量 名 来 查找 对 应 的 值 。 只 要 在 定义 
L 函数 时 通过 变量 名 找到 对 应 的 保存 位 置 ， 再 把 它 记 录 在 Name 对 象 中 就 行 了 。 J 











































































































































































































MEANA ResizableArrayEnv.java 


package chapll; 
import java.util.Arrays; 





import chap6.Environment; 
import chapll.EnvOptimizer.EnvEx2; 


public class ResizableArrayEnv extends ArrayEnv ( 
protected Symbols names; 
public ResizableArrayEnv() { 
super (10, null); 
names = new Symbols (); 
} 
@Override public Symbols symbols() { return names; } 
GOverride public Object get (String name) { 
Integer i = names.find (name); 


if (i == null) 
if (outer -- null) 
return null; 
else 


return outer.get (name); 
else 
return values[il; 
} 
GOverride public void put (String name, Object value) { 
Environment e - where (name); 
if (e -- null) 
e - this; 
((EnvEx2)e).putNew(name, value); 
} 
GOverride public void putNew(String name, Object value) ( 
assign(names.putNew(name), value); 


) 


GOverride public Environment where(String name) { 


if (names.find(name) !- null) 
return this; 

else if (outer -- null) 
return null; 

else 


return ((EnvEx2)outer).where (name); 
} 
GOverride public void put (int nest, int index, Object value) { 
if (nest == 0) 
assign(index, value); 
else 
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super.put (nest, index, value); 
} 
protected void assign(int index, Object value) { 
if (index >= values.length) { 
int newLen = values.length * 2; 
if (index »- newLen) 
newLen = index + 1; 
values = Arrays.copyOf (values, newLen); 





) 


values[index] = value; 





AENEA] Symbols.java 





package chapl1; 
import java.util.HashMap; 


public class Symbols ( 
public static class Location ( 
public int nest, index; 
public Location(int nest, int index) ( 
this.nest - nest; 
this.index - index; 


) 


protected Symbols outer; 
protected HashMap«String,Integer» table; 
public Symbols() { this(null); } 
public Symbols(Symbols outer) ( 
this.outer - outer; 
this.table = new HashMap«String,Integer»(); 
) 
public int size() ( return table.size(); ] 
public void append (Symbols s) ( table.putAll(s.table); } 
public Integer find(String key) ( return table.get(key); } 
public Location get (String key) ( return get (key, 0); } 
public Location get(String key, int nest) [ 
Integer index - table.get(key); 
if (index -- null) 
if (outer -- null) 
return null; 
else 
return outer.get(key, nest + 1); 





else 
return new Location(nest, index.intValue()); 
} 
public int putNew(String key) { 
Integer i - find(key); 
if (i == null) 
return add(key); 
else 
return i; 
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public Location put (String key) { 
Location loc - get(key, 0); 
if (loc sse null) 
return new Location(0, add(key)); 
else 
return loc; 
} 
protected int add(String key) { 
int i = table.size(); 
table.put (key, i); 
return i; 





UE FEMELE AiE 


接 下 来 ,我们 为 抽象 语法 树 中 的 类 添加 Lookup 方法 ， 它 的 作用 是 在 函数 定义 时 ， 查 找 函 数 
用 到 的 所 有 变量 ， 并 确定 它们 在 环境 中 的 保存 位 置 。 该 方法 还 将 根据 需要 ， 在 抽象 语法 树 的 节点 
对 象 中 记录 这 些 保存 位 置 。 这 样 一 来 ， 语 言 处 理 天 就 能 够 通过 编号 而 非 名 称 来 查找 保存 在 环境 中 
的 变量 值 。 
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( Bl lookup 方法 会 在 eval 之 前 被 调用 。 因 此 eval 方法 在 引用 变量 的 值 时 就 不 用 通过 变量 名 j 
来 查找 ， 只 需要 使 个 编号 就 行 Jo 
H) 于 是 ， 程序 的 执行 就 不 着 变量 名 J 吧 。 


\ 回 对 于 局 部 变量 来 说 确实 如 此 。 J 


之 前 为 抽象 语法 树 的 类 添加 的 方法 都 是 些 辅助 方法 ， 用 于 配合 eval 方法 这 一 程序 执行 的 核 
心 部 分 。 本 节 添 加 的 lookup 方法 将 在 eval 方法 之 前 调用 ， 完 成 相关 的 准备 工作 ， 它 的 参数 是 
一 个 Symbols 对 象 。Symbols 对 象 是 一 张 哈 希 表 ， 用 于 记录 变量 名 与 保存 位 置 之 间 的 对 应 关 
系 。 我 们 之 前 在 ResizableArrayEnv 对 象 的 实现 中 使 用 了 Symbols 对 象 ， 在 实现 lookup 
方法 时 ， 依 然 需要 用 到 该 对 象 。 

代码 清单 11.4 是 为 抽象 语法 树 的 各 个 类 添加 1ookup 方法 的 修改 器 。 本 章 仅 对 支持 函数 与 
闭 包 的 Stone 语言 进行 性 能 优化 ， 不 会 涉及 类 的 优化 。 因 此 ， 代 码 清单 11.4 中 的 修改 器 只 依赖 于 
第 7 章 代 码 清单 7.16 中 的 ClosureEvaluator 修改 器 。 代 人 码 清 单 11.4 中 修改 器 主体 之 前 
@Require 标识 说 明了 该 依赖 关系 。 

代码 清单 11.4 中 由 修改 器 添加 的 1ookup 方法 的 执行 逻辑 与 eval 方法 大 体 相同 。 它 们 都 
会 从 抽象 语法 树 的 根 节点 开始 依次 遍历 所 有 的 节点 最 终 到 达 叶 节点 。 两 者 的 区 别 它 们 在 于 访问 有 具 
体 的 节点 时 将 执行 不 同 的 操作 。 

lookup 方法 如 果 在 遍历 时 发 现 了 赋值 表达 式 左 侧 的 变量 名 ， 就 会 查找 通过 参数 接收 的 
Symbols 对象， 判断 该 变量 名 是 否 是 第 一 次 出 现 、 尚 未 记录 。 如 果 它 是 首次 出 现 的 变量 名 ， 
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lookup 方法 将 为 它 在 环境 中 分 配 一 个 保存 位 置 ， 在 Symbols 对 象 中 记录 由 该 变量 名 与 保存 位 
AARDE. RTE, Lookup 方法 还 会 在 所 有 引用 该 变量 的 抽象 语法 树 节 点 中 记录 变量 
值 的 保存 位 置 。 


EE EnvOptimizer.java 


package chapl1; 

import static javassist.gluonj.GluonJ.revise; 
import javassist.gluonj.*; 
import java.util.List; 

import stone.Token; 

import stone.StoneException; 
import stone.ast.*; 

import chapll.Symbols.Location; 
import chap6.Environment; 
import chap6.BasicEvaluator; 
import chap7.ClosureEvaluator; 











GRequire(ClosureEvaluator.class) 
GReviser public class EnvOptimizer { 
GReviser public static interface EnvEx2 extends Environment ( 
Symbols symbols(); 
void put(int nest, int index, Object value); 
Object get (int nest, int index); 
void putNew(String name, Object value); 
Environment where(String name); 
) 
GReviser public static abstract class ASTreeOptEx extends ASTree [ 
public void lookup (Symbols syms) {} 
} 


GReviser public static class ASTListEx extends ASTList { 
public ASTListEx(List«ASTree» c) { super(c); } 
public void lookup (Symbols syms) { 

for (ASTree t: this) 
((ASTreeOptEx)t).lookup(syms); 
} 
} 


GReviser public static class DefStmntEx extends DefStmnt { 
protected int index, size; 
public DefStmntEx(List«ASTree» c) { super(c); } 
public void lookup (Symbols syms) { 
index = syms.putNew (name ()); 
size = FunEx.lookup(syms, parameters (), body()); 
} 
public Object eval (Environment env) { 
((EnvEx2)env).put(0, index, new OptFunction (parameters (), body(), 
env, size)); 
return name(); 


i 
} 


@Reviser public static class FunEx extends Fun { 
protected int size = -1; 
public FunEx(List<ASTree> c) { super(c); } 
public void lookup(Symbols syms) { 
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Size = lookup(syms, parameters(), body()); 
} 
public Object eval(Environment env) ( 

return new OptFunction(parameters(), body(), env, size); 
} 


public static int lookup(Symbols syms, ParameterList params, 
BlockStmnt body) 
{ 


Symbols newSyms = new Symbols (syms); 

( (ParamsEx) params) . lookup (newSyms); 

( (ASTreeOptEx) revise (body) ) . lookup (newSyms) ; 
return newSyms.size(); 


} 
} 
@Reviser public static class ParamsEx extends ParameterList { 
protected int[] offsets = null; 
public ParamsEx(List«ASTree» c) ( super(c); } 
public void lookup(Symbols syms) { 
int s = size(); 
offsets = new int[sl; 
for (int i = 0; i < sS; i++) 
offsets[i] = syms.putNew (name (i)); 
} 
public void eval (Environment env, int index, Object value) ( 
((EnvEx2)env).put(0, offsets[index], value); 
) 


) 

GReviser public static class NameEx extends Name { 
protected static final int UNKNOWN - -1; 
protected int nest, index; 
public NameEx(Token t) ( super(t); index = UNKNOWN; } 
public void lookup(Symbols syms) { 


Location loc = syms.get (name ()); 
if (loc ss null) 

throw new StoneException("undefined name: " + name(), this); 
else ( 

nest - loc.nest; 


index - loc.index; 


} 
public void lookupForAssign(Symbols syms) { 
Location loc - syms.put (name()); 
nest - loc.nest; 
index - loc.index; 
} 
public Object eval(Environment env) ( 
if (index -- UNKNOWN) 
return env.get (name()); 
else 
return ((EnvEx2)env).get(nest, index); 
} 
public void evalForAssign(Environment env, Object value) { 
if (index -- UNKNOWN) 
env.put(name(), value); 
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else 
((EnvEx2)env).put(nest, index, value); 


} 
} 


@Reviser public static class BinaryEx2 extends BasicEvaluator.BinaryEx { 
public BinaryEx2 (List<ASTree> c) { super(c); } 
public void lookup (Symbols syms) { 
ASTree left = left(); 
if ("-".equals(operator())) { 
if (left instanceof Name) { 
( (NameEx) left).lookupForAssign(syms); 
( (ASTreeOptEx)right()).lookup(syms); 
return; 


) 


( (ASTreeOptEx)left).lookup(syms); 
( (ASTreeOptEx)right()).lookup(syms); 





GOverride 
protected Object computeAssign(Environment env, Object rvalue) { 
ASTree 1 = left(); 
if (1 instanceof Name) ( 
((NameEx)1).evalForAssign(env, rvalue); 
return rvalue; 
} 
else 
return super.computeAssign(env, rvalue); 





对 于 大 部 分 节点 ，1ookup 方法 无 需 执行 任何 操作 ， 因 此 ， 作 为 这 些 类 的 父 类 ，ASTree 类 
只 需 添 加 一 个 内 容 为 空 的 1ookup 方法 即 可 。ASTList 类 添加 的 lookup 方法 将 依次 调用 其 子 
节点 对 象 的 lookup 方法 。 

DefStmnt 类 与 Fun 类 中 新 增 的 lookup 方法 将 在 调用 参数 与 自身 的 Lookup 方法 之 前 创 
建 一 个 新 的 Symbols 对 象 。DefStmnt 类 表示 用 于 定义 函数 的 def 语句 ，Fun 类 表示 用 于 创建 
闭 包 的 fun 表达 式 。 与 环境 一 样 ， 语 言 处 理 需 在 管理 变量 名 时 必须 考虑 变量 所 处 的 作用 域 。 与 
之 前 类 似 ， 我 们 需要 在 切换 至 新 的 作用 域 时 创建 新 的 Symbols 对 象 ， 并 将 它 和 与 外 层 作 用 域 对 
应 的 Symbols 对 象 串 连 起 来 。 这 样 一 来 ， 语 言 处 理 器 如果 没 能 在 第 一 个 Symbols 对 象 中 找到 
需要 的 变量 名 ， 就 会 继续 查找 下 一 个 相连 的 Symbols 对 象 。 

ParameterList 类 与 Name 类 中 新 增 的 1ookup 方法 将 执行 该 方法 原本 的 处 理 操 
作 。 这 两 个 类 的 Lookup 方法 都 会 通过 Symbols 对 象 查找 变量 的 保存 位 置 ， 将 结果 记录 于 
相应 的 字段 中 。BinaryExpr 类 新 增 的 1ookup 方法 将 在 进行 赋值 操作 时 调用 Name 对 象 
的 lookupForAssign 方 法， 查找 并 记录 变量 的 保存 位 置 。l1ookupForAssign 方法 将 调用 
Symbols 对 象 的 put 或 putNew 方法 。 如 果 变 量 是 第 一 次 出 现 ， 这 些 方法 将 为 变量 值 分 配 一 个 
保存 位 置 。 
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DD HE eval 方法 并 最 终 完成 性 能 优化 





代码 清单 11.4 中 的 修改 器 将 覆盖 一 些 类 的 eval 方法 。 如 上 所 述 ， 经 过 这 些 修改 ，eval 方 


法 将 根据 由 Lookup 方法 记录 的 保存 位 置 ， 从 环境 中 获取 变量 的 值 或 对 其 进行 更 新 。 


ParameterList 类 、Name 类 与 BinaryExpr 类 的 eval 方法 修改 较为 简单 。DefStmnt 
类 与 Fun 类 的 eval 在 修改 后 返回 的 将 不 再 是 Function 类 的 对 象 ， 而 是 一 个 由 代码 清单 11.5 
定义 的 OptFunction 对 象 。OptFunction 类 是 Function 类 的 子 类 ，optFunction 对 象 同 
样 用 于 表示 函数 。 两 者 的 区 别 在 于 ，OptFunction 类 将 通过 ArrayEnv 对 象 来 实现 函数 的 执行 















































环境 。Function 类 的 定义 可 以 参见 第 7 章 ( 第 7 天 ) 代码 清单 7.8。 





至 此 ， 所 有 修改 都 已 完成 。 代 码 清 单 11.6 与 代码 清单 11.7 分 别 是 用 于 执行 修改 后 的 语言 处 








理 需 的 解释 器 ， 以 及 该 解释 需 的 启动 程序 。 








需要 注意 的 是 ， 代 码 清 单 11.6 的 解释 器 将 在 接收 输入 程序 ( 即 一 条 语句 ) 并 创建 抽象 语法 树 
后 首先 调用 lookup 方法 。eval 方法 的 调用 在 lookup 方法 之 后 。 之 前 ， 解 释 器 在 调用 eval 
方法 之 前 不 会 对 接收 的 抽象 语法 树 做 任何 预 处 理 。 此 外 ， 代 人 码 清 单 11.6 中 ， 首 先 创建 了 一 个 








ResizableArrayEnv 对 象 ， 它 是 一 个 用 于 记录 全 局 变量 的 环境 。 








代码 清单 11.7 中 的 启动 程序 除了 添加 了 本 章 介绍 的 Envoptimizer 修改 咒 ， 还 应 用 了 第 8 
章 ( 第 8 天 ) 代码 清单 8.1 中 的 NativeEvaluator 修改 器 。 该 修改 器 无 需 为 本 次 性 能 优化 做 任 


何 修改 。 
ANERER OptFunction.java 








package chap11; 

import stone.ast.BlockStmnt; 
import stone.ast.ParameterList; 
import chap6.Environment; 
import chap7.Function; 


public class OptFunction extends Function { 
protected int size; 
public OptFunction(ParameterList parameters, BlockStmnt body, 
Environment env, int memorySize) 
{ 


super(parameters, body, env); 
Size - memorySize; 


) 


GOverride public Environment makeEnv() ( return new ArrayEnv (size, 


) 


env); 





dR EnvOptlnterpreter.java 





package chapl1; 

import chap6.BasicEvaluator; 
import chap6.Environment; 
import chap8.Natives; 

import stone.BasicParser; 
import stone.ClosureParser; 
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import stone.CodeDialog; 
import stone.Lexer; 

import stone.ParseException; 
import stone.Token; 

import stone.ast.ASTree; 
import stone.ast.NullStmnt; 


public class EnvOptInterpreter { 
public static void main(String[] args) throws ParseException { 
run(new ClosureParser(), 
new Natives().environment (new ResizableArrayEnv())); 
} 
public static void run(BasicParser bp, Environment env) 
throws ParseException 


{ 


Lexer lexer = new Lexer (new CodeDialog()); 


while (lexer.peek(0) != Token.EOF) { 
ASTree t = bp.parse (lexer); 
if (!(t instanceof NullStmnt)) ( 


((EnvOptimizer.ASTreeOptEx)t).lookup( 
((EnvOptimizer.EnvEx2)env).symbols()); 

Object r - ((BasicEvaluator.ASTreeEx)t).eval(env); 

System.out.println("-» " + r); 
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ni EnvOptRunner.java 





package chapl1; 
import chap8.NativeEvaluator; 
import javassist.gluonj.util.Loader; 


public class EnvOptRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(EnvOptInterpreter.class, args, EnvOptimizer.class, 
NativeEvaluator.class); 



































(a 本 章 的 性 能 优化 没有 涉及 类 的 优化 。 这 里 用 的 方法 不 适用 于 类 吗 ? 
回 不 是 ， 之 后 的 章节 就 会 讲解 了 吧 。 
回 正 是 如 此 。 不 过 本 章 介绍 的 性 能 优化 手段 确实 不 能 直接 用 于 对 象 的 优化 。 我 反复 考虑 了 4 

\ 决定 把 这 些 内 容 放 到 以 后 的 章节 里 。 





















































RA, 
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— 








让 我 们 用 手头 的 计算 机 ( Intel Core2 2.53GHz, 4GB 内 存 、Java 1.6, Mac OS 10.6.8) 
一 下 本 章 的 性 能 优化 工作 究竟 能 提升 程序 多 少 执行 速度 吧 。 下 面 将 通过 第 8 章 ( 第 8 天 ) 





来 测试 
代码 清 


单 8.6 中 计算 斐 波 那 契 数 的 程序 来 比较 优化 前 后 的 执行 时 间 。 在 定义 了 fib 函数 之 后 ，fib 33 将 





被 反复 计算 进行 测试 。 性 能 优化 前 ， 该 过 程 需要 约 5.2 秒 ， 性 能 优化 后 这 一 时 间 缩 短 至 约 
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速度 提升 了 约 70%， 且 第 一 次 计算 与 之 后 的 计算 的 耗 时 几乎 相同 。 

本 章 一 开始 就 强调 了 语言 处 理 器 的 性 能 优化 关键 在 于 预先 计算 能 够 计算 的 值 。 本 章 进 行 的 性 
能 优化 的 本 质 其 实 是 事先 计算 程序 中 将 会 出 现 怎样 的 变量 。 如 果 解 释 器 能 够 以 此 为 基础 进一步 计 
算 相 关 的 值 ， 就 会 继续 计算 那些 数据 。 这 一 优化 取得 了 可 观 的 效果 ， 至 少 斐 波 那 契 数 的 计算 速度 
因此 提升 了 70%。 



































计算 fib 33 花 了 3.1 秒 ， 这 算 快 吗 ? | 
尔 可 以 试 试用 Ruby 1.8 来 执行 代码 清单 11.8 中 的 程序 ， 结 果 是 5.6 秒 。 
呀 ， 那 不 是 比 Ruby 还 快 嘛 。 
又 以 斐 波 那 契 数 的 计算 速度 来 比较 整个 语言 处 理 器 的 速度 是 没有 意义 的 。Stone 与 Ruby 的 
功能 也 大 不 相同 。 
恩 ， 其 实 Ruby 1.9 只 要 1.0 PRESE T o 
JRuby 1.6.0.RC2 更 是 只 要 0.6 秒 。 

侨 ， 看 来 还 是 很 慢 啊 。 貌 似 大 家 都 认为 Ruby 算是 比较 慢 的 语言 来 着 ， 与 一 些 语言 相 比 ， 它 
| ZARI. J 







































































Bug muuBg 





















































MENEAR] 能 够 记录 斐 波 那 契 数 计算 时 间 的 Ruby 程序 


def fib (n) 
if n « 2 





n 
else 
fib(n - 1) « fib(n - 2) 
end 
end 
t - Time.now; fib(33); puts Time.now - t 
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上 一 章 已 经 介绍 了 变量 引用 性 能 优化 的 方式 ， 不 过 类 与 对 象 不 在 优化 的 范围 内 。 在 满足 一 定 
的 条 件 时 ,方法 内 的 字段 值 读 取 操 作 也 能 通过 同样 的 方式 获得 性 能 提升 。 第 9 章 ( 第 9 天 ) 介绍 
的 类 与 对 象 由 闭 包 实现 。 尽 管 这 种 实现 方式 很 优雅 ， 其 执行 效率 却 有 些 不 足 。 本 章 将 介绍 一 种 更 
常见 且 效 率 更 高 的 类 与 对 象 实现 方式 。 






























































( 四 之 前 我 们 为 了 利用 闭 包 来 实现 类 与 对 象 可 费 了 不 少 功夫 啊 ， 这 种 方式 真 的 不 好 吧 ? ) 
O 虽然 效率 不 太 高 ， 但 在 计算 机 科学 领域 这 是 很 重要 的 。 
D] 类 与 函数 的 概念 乍 一 看 完全 不 同 ， 但 实际 上 ， 类 明显 能 被 视 为 函数 的 一 种 延伸 概念。 
这 怎么 说 ? 
| B 将 看 似 不 同 其 实 本 质 相 似 的 东西 ， 用 同一 概念 进行 统一 解释 ， 正 是 科学 的 本 质 。 
















































































































































































EEXB. 碱 少 内 存 占用 

第 9 章 的 实现 使 用 了 环境 来 表现 Stone 语言 中 的 对 象 。 环 境 中 不 仅 含 有 由 字段 名 与 相应 的 
值 组 成 的 名 值 对 ， 还 记录 了 由 方法 名 与 Function 对 象 组 成 的 名 值 对 。 这 种 实现 的 内 存 利用 率 
很 低 。 

像 JavaScript 那样 每 个 对 象 都 能 拥有 不 同方 法 的 语言 ， 这 种 实现 方式 较为 合适 。 然 而 ，Stone 
语言 中 同一 个 类 的 对 象 只 能 具有 相同 的 方法 。 因 此 ， 语 言 处 理 器 没有 必要 在 环境 中 记录 由 方法 名 
与 Function 对 象 组 成 的 名 值 对 。 

基于 以 上 原因 ， 本 章 的 实现 中 ， 所 有 同一 个 类 的 对 象 将 共享 方法 (图 12.1) Stone 语言 将 
为 每 个 方法 创建 一 个 ClassInfo 对 象 ， 用 于 记录 与 方法 相关 的 信息 。 用 于 表示 Stone 语言 对 
象 的 StoneObject 对 象 包含 ClassInfo 对 象 的 引用 ， 当 语言 处 理 需 需要 获取 方法 调用 的 相 
关 信 息 时 ， 将 查找 该 ClassInfo 对 象 中 的 内 容 。 这 样 一 来 ，Stoneobject 对 象 仅 需 记 录 字 
段 信 息 ， 每 个 单独 的 Stoneobject 对 象 使 用 的 内 存量 也 相应 减少 。 一 个 Stoneobject 对 象 
能 节省 的 内 存 消耗 量 并 不 多 ， 但 通常 程序 都 会 为 一 个 类 创建 大 量 的 对 象 ， 因 此 整个 程序 的 内 存 消 
耗 将 明显 减少 。 
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Position 类 
Class position { Position 
cx de 对 象 
def xmove (dx) { 
c Co 
) ^ 
^ I 
Stone 语 言 范畴 | 
l 
V Java 语 言 范畴 I 
classi 
字段 名 [x < 
方法 | xmove 字段 值 |1 11 
Classlnfo StoneObject 
(OptClasslnfo) (OptStoneObject) 





类 与 对 象 的 实现 

















( O 终于 要 开始 使 用 通常 的 面向 对 象 语言 实现 方式 了 。 ) 





本 章 将 继续 上 一 章 的 做 法 ， 通 过 数组 而 非 哈 希 表 来 实现 环境 。 字 段 值 与 方法 的 定义 无 需 通过 
在 哈 希 表 中 查找 名 称 来 获取 ， 只 需 通过 编号 就 能 直接 在 数组 中 找到 对 应 的 数据 。 这 样 一 来 ， 对 象 
相关 操作 的 性 能 也 将 提升 。 

通过 数组 实现 环境 也 有 助 于 减少 内 存 的 使 用 量 。 如 果 环 境 由 哈 希 表 实 现 ， 用 于 表示 Stone 语 
言 对 象 的 Sconeobject 对 象 不 仅 需 要 保存 字段 的 值 ， 还 要 保存 字段 的 名 称 。 同 一 个 类 的 对 象 具 
有 相同 的 字段 ， 因 此 这 是 一 种 浪费 。 如 果 使 用 数组 ，Stoneobject 对 象 仅 会 记录 字段 的 值 ， 内 
存 使 用 量 也 将 相应 减少 。 字 有 段 的 名 称 将 与 方法 信息 一 起 保存 于 ClassInfo 对 象 之 中 。 

我 们 根据 上 述 讨 论 来 重新 定义 ClassIinfo 类 与 Stoneobject 类 。 为 了 区 分 本 章 
与 第 9 章 的 定义 ， 重 新 定义 的 类 的 名 称 之 前 会 加 上 Opt， 重 命名 为 optclassInfo 类 
与 OptStoneobject 25, 代码 清单 12.1 与 代码 清单 12.2 是 这 两 个 类 的 定义 。OptClassInfo 类 
是 第 9 章 中 ClassInfo 类 的 子 类 ， 并 继承 了 该 类 的 一 些 方法 。 代 码 清单 12.3 是 OptMethod 类 
的 定义 ， 被 用 于 optclassInfo 类 的 实现 。 


package chap12; 

import java.util.ArrayList; 

import stone.ast.ClassStmnt; 

import stone.ast.DefStmnt; 

import chapll.Symbols; 

import chap12.O0bjOptimizer.DefStmntEx2; 
import chap6.Environment; 
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import chap9.ClassInfo; 


public class OptClassInfo extends ClassInfo { 
protected Symbols methods, fields; 
protected DefStmnt[] methodDefs; 
public OptClassInfo(ClassStmnt cs, Environment env, Symbols methods, 
Symbols fields) 
{ 
super(cs, env); 
this.methods - methods; 
this.fields - fields; 
this.methodDefs - null; 
) 
public int size() { return fields.size(); } 
GOverride public OptClassInfo superClass() { 
return (OptClassInfo)superClass; 
) 
public void copyTo(Symbols f, Symbols m, ArrayList«DefStmnt» mlist) { 
f.append(fields); 
m.append (methods) ; 
for (DefStmnt def: methodDefs) 
mlist.add(def); 
) 
public Integer fieldIndex(String name) ( return fields.find(name); } 
public Integer methodIndex(String name) { return methods.find(name); } 
public Object method(OptStoneObject self, int index) { 
DefStmnt def - methodDefs[index]; 
return new OptMethod(def.parameters(), def.body(), environment(), 
((DefStmntEx2)def).locals(), self); 
) 
public void setMethods (ArrayList«DefStmnt» methods) { 
methodDefs = methods .toArray (new DefStmnt [nmethods.size()]); 


) 





lXZHnESAER] OptStoneObject.java 


package chap12; 


public class OptStoneObject { 
public static class AccessException extends Exception {} 
protected OptClassInfo classInfo; 
protected Object[] fields; 
public OptStoneObject(OptClassInfo ci, int size) ( 
classInfo - ci; 
fields - new Object[sizel; 
) 
public OptClassInfo classInfo() { return classInfo; } 
public Object read(String name) throws AccessException ( 
Integer i - classInfo.fieldIndex (name); 
if (i !- null) 
return fields[il; 
else ( 
i = classInfo.methodIndex (name); 
if (i !- null) 
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return method(i); 


) 


throw new AccessException(); 
} 
public void write(String name, Object value) throws AccessException [ 
Integer i - classInfo.fieldIndex (name); 
if (i ss null) 
throw new AccessException(); 
else 
fields[i] = value; 
} 
public Object read(int index) { 
return fields[index]; 
} 
public void write(int index, Object value) ( 
fields[index] = value; 
} 
public Object method(int index) { 
return classInfo.method(this, index); 


) 





WIERE] OptMethod.java 


package chap12; 

import stone.ast.BlockStmnt; 
import stone.ast.ParameterList; 
import chapll.ArrayEnv; 

import chapll.OptFunction; 
import chap6.Environment; 





public class OptMethod extends OptFunction ( 
OptStoneObject self; 
public OptMethod(ParameterList parameters, BlockStmnt body, 
Environment env, int memorySize, OptStoneObject self) 
{ 
super (parameters, body, env, memorySize); 
this.self - self; 
} 
GOverride public Environment makeEnv() ( 
ArrayEnv e - new ArrayEnv(size, env); 
e.put(0, 0, self); 
return e; 


FP fbmirmici ide m 5 fe UR UC AU MERE 


上 一 章 介绍 的 实现 将 事先 查找 变量 的 保存 位 置 ， 再 通过 编号 从 环境 中 获取 变量 值 ， 提 高 变量 
引用 的 速度 。 本 章 也 试图 使 用 简单 的 数组 来 记录 字段 值 与 方法 的 定义 ， 以 类 似 的 方式 提升 语言 处 
理 吉 的 性 能 。 然 而 很 可 惜 ， 这 种 做 法 无 法 让 我 们 如 愿 。 
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由 于 Stone 语言 是 一 种 动态 数据 类 型 语言 ， 因 此 被 调用 的 方法 或 被 引用 的 字段 所 属 对 象 的 类 

型 只 有 在 实际 运行 时 才能 获知 。 如 果 不 能 确定 类 的 类 型 ， 语 言 处 理 需 就 无 法 找到 字段 或 方法 的 保 
存 位 置 。 举 例 来 说 ， 

© = get) 

p.x 
这 段 程 序 片 段 中 ， 第 2 行 引 用 了 对 象 p 的 x 字 段 的 值 ， 但 由 于 语言 处 理 器 不 知道 对 象 p 的 类 型 ， 
所 以 无 法 事先 得 到 x 字段 的 保存 位 置 。 这 是 因为 ,不同 的 类 中 可 能 存在 名 称 相同 的 字段 ， 而 这 些 
字段 的 保存 位 置 并 不 相同 。 并 且 ， 即 使 能 够 分 析 get 函数 的 内 容 ， 也 不 一 定 能 知道 对 象 p 的 类 
型 。 例 如 ， 函 数 可 能 会 通过 随机 数 随机 返回 多 种 类 型 的 对 象 (借助 原生 函数 ，Stone 语言 很 容易 
就 能 使 用 随机 数 函数 )。 



























































( 四 只 要 规定 具有 相同 名 称 的 字段 的 值 ， 无 论 属 于 哪 种 类 型 的 对 象 ， 都 保存 在 数组 中 的 同一 位置 | 
不 就 好 了 ? 
D 可 不 能 这 么 做 呀 ! 
回 假设 类 AA 含有 字段 a 与 b， 另 一 个 类 B 含有 字段 b 与 c， 而 类 Cc 
回 这 样 一 来 ， 至少 B 与 c 的 对 象 具 有 一 个 长 度 为 3 的 数组 ， 但 只 会 用 
内 存 就 被 白白 浪费 了 啊 。 
B 这 个 点 子 本 身 不 错 。 其 实 有 人 使 用 了 和 它 类 似 的 方法 来 实现 语言 处 理 器 ， 但 要 想 实用 化 还 要 


L BHEBI— T. J 


最 终 ， Hae ERS AFE, EE EARR Je, A A 
或 字段 名 进行 查找 ， 获 取 它 们 在 数组 中 的 保存 位 置 。 这 种 情况 下 无 法 通过 事先 查找 保存 位 置 来 
提升 运行 速度 ， 实 际 性 能 与 第 9 章 的 实现 区 别 不 大 。 保存 位 置 的 信息 由 OptclassInfo 对 象 记 
录 。OptClassInfo 对 象 是 调用 了 方法 或 引用 了 字段 的 对 象 ， 语 言 处 理 器 可 以 通过 遍历 语法 书 ， 
从 与 之 对 应 的 optStoneobject 对 象 的 classInfo 字段 获取 该 值 。 

然而 万 事 皆 有 例外 。 如 果 调 用 了 方法 或 引用 了 字段 的 是 上 this 所 指 的 对 象 ， 又 或 是 程序 代码 
省 略 了 this.， 仅 通过 字段 名 与 方法 名 隐 式 地 引用 this， 那 情况 就 不 一 样 了 。 

对 于 this 所 指 的 对 象 ， 它 所 属 的 类 或 是 定义 了 包含 this 的 方法 ， 或 是 该 类 的 子 类 ， 不 存 
在 其 他 可 能 。 因 此 ， 语 言 处 理 器 只 要 查找 定义 了 包含 this 的 方法 的 类 中 的 optClassInfo 对 
象 ， 就 能 事先 获得 方法 或 字段 的 保存 位 置 。 之 后 还 将 说 到 ， 即 使 该 对 象 属于 该 类 的 子 类 ， 保 存 位 
置 也 不 会 发 生变 化 ， 因 此 解释 需 无 需 考 虑 这 种 情况 。 











































































































































































































































































































( El 对 于 Java 那样 的 静态 数据 类 型 语言 ， 即 使 不 是 this 也 都 能 通过 这 种 方式 查找 保存 位 置 吧 。 | 
I 只 要 调用 方法 的 对 象 具有 静态 数据 类 型 "， 该 对 象 实际 所 属 的 类 就 必然 是 了 或 了 的 子 类 。 
B 不 过 要 是 是 一 个 接口 ， 那 就 也 可 能 是 一 个 实现 了 该 接口 的 类 。 
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| B 咽 ， 不 必 纠 结 具体 是 什么 啦 。 总 之 Java 语言 能 事先 获得 更 多 类 型 的 保存 位 置信 息 。 J 


本 章 介 绍 的 实现 将 在 执行 class 语句 、 对 类 进行 定义 时 ， 查 找 其 中 由 def 语句 完成 的 方法 
定义 ， 确 定 方法 内 部 引用 了 由 this 指向 的 对 象 的 方法 与 字段 的 位 置 。 如 果 找 到 这 样 的 位 置 ， 语 
言 处 理 需 将 查找 相应 方法 或 字段 的 保存 位 置 ， 并 将 其 记录 于 与 之 对 应 的 抽象 语法 树 节 点 对 象 中 。 
之 后 实际 执行 程序 时 ， 语 言 处 理 需 将 通过 预先 记录 的 保存 位 置 来 优化 执行 性 能 。 


「 严格 来 讲 ， 只 有 在 省 略 了 this.， 仅 写 了 一 个 x 时 ， 才 能 事先 查找 相关 的 保存 位 置 。 | 
如 果 不 省 略 this， 写 成 this .x， 就 不 能 查找 了 吗 ? 
B 不 要 这 样 。 因 为 写成 这 样 ， 程 序 会 变 得 难以 理解 。 
CE na | 
为 此 , 代码 清单 12.2 的 optstoneObject 类 中 含有 两 组 read 与 write 方法 。 一 组 用 于 通 
过 名 称 引 用 字段 与 方法 ， 另 一 组 则 能 直接 通过 数组 下 标 进 行 引 用 。 话 言 处 理 需 将 根据 目标 对 象 是 
BN this 对 象 来 选择 合适 的 方法 。 
















































































































































































( D] 老师 ， 这 段 说 明 有 点 晚 呀 。 | 




















如 上 所 述 ， 对 于 相互 继承 的 类 ， 它 们 包含 的 字段 在 数组 中 的 保存 位 置 应 当 相 同 。 不 仅 字 有 段 ， 
这 些 类 的 方法 也 应 当 保 存 于 数组 中 的 相同 位 置 。 保 存 方法 的 数组 由 Opt ClassInfo 对 象 记录 。 
下 面 我 们 来 看 一 下 这 样 设计 的 理由 。 

与 其 他 很 多 面向 对 象 语言 一 样 ， 在 Stone 语言 中 ， 一 个 类 能 够 继承 男 一 个 类 。 试 考虑 下 面 这 


段 Stone 语言 的 类 定义 。 





class Position { 
X-y-1l 
def xmove (dx) { x = x + dx } 


class Position3D extends Position { 
Z = 1 


} 


由 于 Position3D 类 继承 于 Position 类 , 因此 Position3D 对 象 除了 字段 z 之 外 还 具有 
继承 得 到 的 字段 x 与 y。 此 外 ，Position3D 类 也 能 使 用 Position 类 定义 的 xmove 方法 。 

xmove 方法 引用 了 this 对 象 的 x 字 段 。 语 言 处 理 需 在 调用 该 方法 时 ，this 可 能 指向 
一 个 Position 对 象 , 也 可 能 指向 一 个 Position3D 对 象 。 无 论 是 哪 一 种 类 型 的 对 象 ， 它 们 
都 必须 在 数组 中 的 同一 位 置 保存 x 字段 的 值 。 正 如 之 前 所 说 ， 如 果 和 需要 访问 的 目标 对 象 是 一 
个 this 对 象 ， 语 言 处 理 需 将 能 够 事先 查找 字段 值 的 保存 位 置 。 

Position 类 与 Position3D 类 必须 在 相同 位 置 保存 x 字段 与 y 字 段 的 值 。 无论 
对 象 属于 哪 一 个 类 都 应 遵守 该 规定 。 例 如 ,x 字段 是 数组 中 的 第 1 个 元 素 , y 字段 是 第 2 
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个 ，Position3D 类 独 有 的 z 字段 则 作为 数组 的 第 3 个 元 素 保存 ， 以 此 类 推 
我 们 来 讨论 一 下 不 采用 这 种 设计 可 能 会 带 来 什么 问题 。 假 如 Position 类 的 z 字 段 保存 在 
数组 的 第 2 个 元 素 ，Position3D 类 的 z 字 段 保存 在 数组 的 第 1 个 元 素 中 ， 于 是 ，xmove 方法 
要 引用 x 字段 时 ， 就 必须 在 执行 过 程 中 判断 目标 对 象 是 Position 类 还 是 Position3D 类 ， 降 
低 了 程序 的 运行 速度 。 
此 外 ,我们 还 可 以 分 别 为 Position 类 与 Position3D 类 准备 不 同 的 xmove 方法 及 相应 
的 抽象 语法 树 。 在 与 Position 类 对 应 的 抽象 语法 树 中 ，x 字段 保存 在 数组 的 第 2 个 元 素 中 ,在 
与 Position3D 类 对 应 的 抽象 语法 树 中 ， 该 字段 保存 在 第 1 个 元 素 中 。 这 种 做 法 虽然 不 会 降低 
运行 性 能 ， 但 内 存 使 用 量 较 大 。 
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( El 由 于 Stone 语言 仅 支持 单 _ 继 承 ， 所 以 能 够 使 用 上 面 的 方法 。 如 果 是 多 重 继承 ， 即 使 我 们 想 | 
让 字段 保存 在 同一 个 位 置 ， 也 无 法 实现 。 
C++ 的 虚 函 数 表 ( virtual function table ) 虽 然 与 之 类 似 ， 但 同时 也 支持 多 重 继承 。 不 过 它 实际 上 
仍然 无 法 将 数据 保存 在 同一 位 置 ， 只 是 通过 多 种 手段 使 用 户 以 为 相关 数据 都 在 同一 位 置 保存 。 
回 对 了 ， 虚 防 数 表 是 虚 函 数 的 指针 数组 ， 它 的 本 质 就 是 一 个 方法 数组 ， 人 A 君 。 
加 Java 语言 的 接口 也 是 一 种 特殊 的 多 重 继承 类 ， 因 此 具有 相同 的 问题 。 早 期 的 Java 语言 如 果 
L 调用 了 接口 的 方法 ， 执 行 速度 就 会 很 慢 。 随 着 研究 的 深入 ， 这 一 问题 才 得 以 解决 。 | 












































































































































































































































12.3N 定义 lookup 方 法 

上 一 章 为 抽象 语法 树 节 点 类 定义 的 Lookup 方法 将 在 程序 执行 前 查找 语法 树 ， 确 定 所 有 需 
要 使 用 的 变量 的 保存 位 置 。 这 些 信息 将 同时 保存 至 引用 了 变量 的 相应 节点 对 象 中 ， 之 后 语言 处 理 
器 将 能 通过 编号 而 非 变 量 名 获取 变量 值 ， 程 序 运 行 过 程 中 的 变量 引用 速度 得 到 了 提升 。 

lookup 方法 的 参数 中 包含 一 个 Symbols 对 象 ， 该 方法 在 遇 到 赋值 表达 式 的 左 侧 时 ， 会 
将 左 侧 的 变量 名 传递 给 Symbols 对 象 的 put 方法 。 如 果 这 个 名 称 是 第 一 次 出 现 ， 它 将 被 添加 
至 symbols 对 象 之 中 。 于 是 ， 在 执行 完 lookup 方法 后 ，Symbols 对 象 中 会 新 增 一 些 变量 名 。 
语言 处 理 需 可 以 通过 它们 获取 程序 所 需 变量 的 名 称 与 相应 的 保存 位 置 一 览 。 

本 章 将 扩展 class 语句 ， 使 它 能 够 正确 处 理 lookup 方法 。 通 过 这 次 扩展 ，Lookup 方法 
将 能 查找 class 语句 中 与 由 大 括号 括 起 的 类 定义 体 对 应 的 抽象 语法 树 ， 向 Symbols 对 象 添 加 
该 类 中 所 有 的 方法 名 与 字段 名 ， 同 时 为 它们 分 配 保存 位 置 。1ookup 方法 执行 结束 后 ， 语 言 处 理 
器 将 能 通过 Symbols 对 象 获 得 方法 名 与 字段 名 一 览 。 

在 扩展 lookup 方法 时 ， 我 们 可 以 直接 使 用 上 一 章 定 义 的 1ookup 方法 的 大 部 分 代码 。 大 
括号 括 起 的 类 定义 体 相 当 于 类 的 构造 函数 ， 它 在 执行 过 程 中 使 用 的 局 部 变量 可 以 视 为 字段 。 在 通 
过 闭 包 实现 对 象 机 制 时 ， 我 们 也 利用 了 这 一 特性 。 因 此 ， 我 们 可 以 借助 已 有 的 lookup 方法 来 查 
找 所 有 需要 使 用 的 变量 。 加 之 方法 和 也 数 都 能 由 def 语句 定义 ，Stone 语言 处 理 器 具有 相当 高 的 
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代码 复 用 比例 。 

对 lookup 方法 进行 的 扩展 还 未 完成 ， 我 们 需要 设法 让 它 不 仅 能 够 在 引用 了 变量 的 抽象 语 
法 树 节 点 对 象 中 记录 该 变量 的 保存 位 置 ， 还 能 记录 方法 与 字段 的 相应 保存 位 置 。 这 里 同样 能 够 
复 用 之 前 的 代码 ， 简 化 实现 的 难度 。 该 复 用 只 适用 于 语言 处 理 需 在 调用 this 对 象 的 方法 ,或 访 
问 this 对象 的 字段 时 语句 省 略 了 this. 的 情况 。 也 就 是 说 ，1Lookup 方法 不 支持 this .x 这 
样 的 形式 ， 如 果 要 正确 引用 ， 就 只 能 单独 使 用 一 个 x。 

由 于 这 与 通常 的 变量 引用 形式 相同 ， 因 此 我 们 可 以 利用 上 一 章 中 的 Lookup 方法 实现 。 唯 一 
需要 修改 的 是 ，Symbols 对 象 返 回 的 保存 位 置 ， 应 当 通 过 保存 方法 定义 与 字段 值 的 数组 表示 。 




























































































O 我 想起 来 了 ， 之 前 第 9 章 ( 第 9 天 ) 也 利用 了 闭 包 与 类 在 定义 上 的 相似 性 呢 。 
图 咽 ， 这 里 也 是 同样 的 思路 。 因 为 lookup 的 实现 与 eval 的 实现 的 基本 结构 相同 。 























本 章 的 lookup 方法 实现 将 尽 可 能 复 用 之 前 的 代码 ， 不 过 ， 参 数 中 的 symbols 对 象 需要 做 
一 些 调 整 。 这 里 的 Symbols 对 象 相 当 于 eval 方法 接收 的 Environment 对 象 。 它 们 都 能 通过 
多 个 串 连 的 方式 来 表示 作用 域 的 能 套 结构 。 

122 Æ lookup 方法 在 查找 大 括号 括 起 的 类 定义 体 时 使 用 的 Symbols 对 象 。 这 4 个 
对 象 通过 outer TRER, 分 别 记录 了 不 同类 型 的 名 称 。 除 了 最 后 一 个 ， 这 些 对 象 都 属 
于 Symbols 类 的 子 类 。 

代码 清单 12.4 是 图 中 第 一 个 出 现 的 SymbolThis 对 象 的 定义 。 它 用 于 记录 在 类 定义 体 中 有 效 
的 局 部 变量 的 名 称 。 然 而 ， 与 函数 不 同 ， 类 定义 体 中 新 增 的 名 称 并 非 局 部 变量 ， 而 是 字段 名 称 ， 
此 该 作用 域内 的 有 效 局 部 变量 就 只 有 一 个 this。SymbolThis 对 象 仅 会 记录 chis 的 信息 。 

下 面 这 两 个 MembersSymbols 对 象 分 别 用 于 记录 字段 名 与 方法 名 。 代 码 清 单 12.5 是 它们 的 
EX. WF lookup 方法 在 类 定义 中 遇 到 了 用 于 定义 方法 的 aeg 语句 ， 就 会 直接 将 该 方法 名 称 
添加 至 第 二 个 MemberSymbols 对 象 中 。 
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字段 名 的 添加 过 程 有 些 复杂 。1lookup 方法 如 果 在 类 定义 体 中 遇 到 了 赋值 表达 式 ， 将 首先 检 
查 表达 式 左 侧 是 否 含有 新 出 现 的 名 称 ， 如 果 该 名 称 是 第 一 次 出 现 ，lookup 方法 将 调用 图 12.2 中 
第 一 个 SymbolThis 对 象 的 put 方法 来 添加 名 称 。 

由 于 类 定义 体 中 出 现 的 名 称 不 是 局 部 变量 ， 而 是 字段 名 ， 因 此 put 方法 将 调用 outer 指向 
的 MemberSymbols 对 象 提供 的 put 方法 ， 而 非 直接 通过 自身 (SymbolThis 对 象 的 put 方法 ) 
来 添加 名 称 。outet 字段 所 指 的 对 象 用 于 记录 字段 名 。 由 此 可 知 ， 之 所 以 图 12.2 中 的 对 象 链 不 得 
不 以 SymbolThis 代替 Symbol 对 象 起 始 ， 是 由 于 put 方法 必须 按 这 样 的 形式 做 相应 修改 。 

Membersymbols 对 象 用 于 记录 方法 名 、 字 段 名 及 与 之 相应 的 保存 位 置 。 这 些 保存 位 置 
WEHR Location 对 象 表示 。 该 对 象 具有 nest FRS index 字段 , HH MemberSymbols 对 
象 返回 的 Location 对 象 中 ，nest 字段 的 值 只 可 能 是 METHOD 或 FIELD (它们 是 两 个 不 同 的 负 
整数 常量 ) 通常 ,nest 字段 用 于 表示 该 名 称 属于 从 最 内 层 数 起 的 第 几 个 作用 域 ，index 字 段 
用 于 表示 与 该 名 称 对 应 的 值 保存 于 数组 中 的 第 几 个 元 素 。 通 过 METHOD 与 FIELD 这 两 个 特殊 
的 常量 ,MemberSymbols 对 象 能 够 仅 任 nest 字段 的 值 来 判断 一 个 名 称 是 否 是 通常 的 变量 
Žo Location 对 象 无 需 记录 更 多 额外 信息 ， 例 如 ， 它 不 必 知 道 方法 或 字段 具体 属于 哪 一 个 类 。 
这 是 因为 ， 只 有 在 对 this 对 和 象 调用 方法 或 引用 字段 时 ,语言 处 理 器 才 需 要 记录 它们 的 保存 位 置 。 


EER SymbolThis.java 


package chap12; 
import stone.StoneException; 
import chapll.Symbols; 











































































































public class SymbolThis extends Symbols { 
public static final String NAME - "this"; 
public SymbolThis (Symbols outer) { 
super (outer); 
add (NAME) ; 
) 
GOverride public int putNew(String key) { 
throw new StoneException("fatal"); 
) 
GOverride public Location put (String key) { 
Location loc = outer.put (key); 
if (loc.nest >= 0) 
loc.nest-«-; 
return loc; 


EE MemberSymbols.java 


package chap12; 
import chapll.Symbols; 





public class MemberSymbols extends Symbols { 
public static int METHOD - -1; 
public static int FIELD - -2; 
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protected int type; 
public MemberSymbols (Symbols outer, int type) { 
super (outer); 
this.type - type; 
) 
GOverride public Location get (String key, int nest) { 
Integer index - table.get(key); 
if (index -- null) 
if (outer -- null) 
return null; 
else 
return outer.get(key, nest); 
else 
return new Location(type, index.intValue()); 
) 
GOverride public Location put (String key) ( 
Location loc = get(key, 0); 
if (loc == null) 
return new Location(type, add(key)); 
else 
return loc; 





124E L EE 


代码 清单 12.6 AR di Ri — EKRE ih T r, ETARE B e EETA y 
展 。 其 中 , 为 与 class 话 句 相关 的 抽象 语法 树 节 点 类 添加 相应 的 eval 与 lookup 方法 是 最 主要 
的 改动 。 

首先 ， 修 改 器 为 直接 与 class 语句 对 应 的 ClassStmnt 类 添加 了 空 的 1ookup 77 
法 。eval 方法 将 执行 与 1ookup 方法 功能 相当 的 操作 。 如 果 程 序 定义 的 类 需要 继承 一 个 父 类 ， 
但 环境 中 没有 记录 这 一 父 类 ， 语 言 处 理 器 就 找 不 到 父 类 的 定义 ， 从 而 不 能 确定 需要 继承 的 方法 
与 字段 ， 这 样 一 来 ， Lookup 方法 就 无 法 执行 。 因 此 ，eval 方法 需要 接收 一 个 环境 参数 ， 同 
时 lookup 方法 的 执行 也 将 推迟 。classStmnt 类 的 eval 方法 将 创建 一 个 optclassInfo 对 
象 并 添加 至 环境 中 ， 用 于 保存 当前 定义 的 类 的 信息 。 如 果 该 类 继承 了 父 类 的 方法 或 字 
Bt, OptClassInfo 对 象 中 也 将 添加 这 些 信 息 。 完 成 以 上 这 些 操作 之 后 ， 语 言 处 理 需 将 对 类 和 十 
义 体 调用 Lookup 方法 。 

ClassBody 类 新 增 的 lookup 方法 仅 会 对 def 语句 做 特殊 处 理 。 类 定义 体 中 的 def 语句 
用 于 定义 方法 ， 此 处 定义 的 方法 将 保存 在 MemberSymbols 对 象 内 ， 即 图 12.2 中 左 起 第 3 个 椭 
HARRIZ. lookup 方法 将 检查 该 方法 是 否 已 经 存在 ， 并 根据 情况 判断 是 否 应 该 覆盖 已 有 的 
方法 ， 执 行 恰当 的 处 理 。 最 后 ，1Lookup 方法 将 对 def 语句 调用 1ookupAsMethod 方法 。 由 于 
方法 定义 与 图 数 定 义 稍 有 不 同 ， 需 要 做 一 些 特别 的 处 理 ， 因 此 这 里 不 能 直接 使 用 1ookup， 而 要 
通过 另外 的 方法 来 完成 操作 。 
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代码 清单 12.6 中 的 修改 天 为 DefStmnt 类 添加 了 LookupAsMethod 方 法， 它 将 在 def 语 
名 进行 方法 定义 时 执行 1ookup 处 理 。1lookupAsMethod 方法 将 创建 一 个 与 方法 作用 域 对 应 
的 Symbols 对 象 ， 并 以 此 为 参数 调用 方法 本 身 的 Lookup 方法 。 该 方法 与 def 语句 在 定义 函数 
时 使 用 的 由 Defstmnt 类 提供 的 1ookup 方法 ， 或 Fun 类 的 lookup 方法 的 不 同 之 处 在 于 ， 它 
将 在 创建 Symbols 对 象 后 首先 为 它 添加 一 个 变量 名 this. 

接 下 来 ,我 们 只 需 为 剩 下 的 类 添加 eval 或 与 之 相当 的 方法 即 可 。Dot 类 新 增 的 eval 方法 
KHE. (点 运算 符 ) 的 左 侧 是 类 名 而 右 侧 是 new 表达 式 时 ， 创 建 一 个 新 的 Stone 语言 对 象 ， 否 则 
读 取 左 侧 对 象 的 字段 值 。 该 字段 的 值 能 够 通过 OptStoneobject 类 的 read 方法 获得 。 这 里 
的 eval 方法 与 第 9 章 ( 第 9 天 ) 代码 清单 9.6 中 为 Dot 类 添加 的 eval 方法 大 同 小 异 ， 请 读者 
比较 一 下 两 者 的 不 同 。 

Dot 类 新 增 的 eval 方法 在 创建 Stone 语言 对 象 时 ， 将 首先 创建 一 个 OptStoneobject 对 
象 ， 然 后 调用 initobject 方法 初始 化 该 对 象 。initobject 方法 将 把 class 语句 中 大 括号 括 
起 的 类 定义 体 作 为 构造 函数 执行 。 如 果 该 类 具有 父 类 ，initobject 方法 将 先 执行 父 类 的 构造 
函数 。 由 于 构造 函数 内 部 需要 使 用 独立 的 作用 域 ， 因 此 initobject 方法 将 创建 一 个 新 的 环境 
来 执行 初始 化 处 理 。 

initObject 方法 创建 的 环境 是 一 个 长 度 为 1 的 数组 ， 它 仅 保 存 了 this 的 值 。eval 方法 
通过 下 面 这 条 语句 完成 数组 的 初始 化 ， 并 将 this 的 值 保存 至 数组 的 第 1 个 元 素 中 。 


newEnv.put(0, 0, so); 






































由 于 新 创建 的 环境 newEnv 的 outer 字段 指向 用 于 记录 全 局 变量 的 值 的 环境 ， 因 此 全 局 变 
量 能 够 在 构造 函数 中 直接 引用 。 该 环境 也 用 于 类 的 定义 ， 能 够 通过 调用 opt ClassInfo 对 象 
的 environment 方法 获得 。 

Name 类 新 增 的 eval 方法 能 够 从 之 前 由 lookup 方法 记录 的 保存 位 置 获取 与 名 称 对 应 的 
值 。 这 里 的 lookup 方法 已 由 上 一 章 代码 清单 11.4 中 的 NameEx 修改 需 添 加 。 

如 果 需 要 的 值 保 存在 对 象 中 ,语言 处 理 器 将 通过 getThis 方法 从 环境 中 取得 this 指向 的 
对 象 。 这 种 情况 下 ， 程 序 必 须知 道 this 自身 的 保存 位 置 。 因 此 ， 我 们 规定 this 的 值 总 是 保存 
在 数组 的 第 1 个 元 素 中 。 代 码 清单 12.3 中 optMethod 类 的 makeEnv 方法 的 作用 是 准备 一 个 用 
于 执行 新 方法 的 环境 ， 它 将 在 环境 数组 的 第 1 个 元 素 中 保存 chis 的 值 。 


e.put(0, O, self); 









































上 面 这 条 语句 与 构造 函数 的 初始 化 处 理 效果 相同 。 

此 外 ，BinaryExpr 类 的 computeAssign 方 法 也 需要 履 关 。 上 一 章 代 人 码 清 单 11.4 
的 BinaryEx2 修改 需 定 义 的 computeAssign 方法 已 经 对 它 进 行 了 修改 ， 现 在 我 们 需要 再 次 
覆盖 之 前 的 定义 。 本 章 新 定义 的 computeRAssign 方 法 仅 会 在 赋值 表达 式 左 侧 是 字段 时 执行 ， 
否则 仍 将 调用 之 前 的 版 本 。 
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package chap12; 

java.util.ArrayList; 

java.util.List; 

static javassist.gluonj.GluonJ.revise; 
javassist.gluonj.*; 

stone.*; 

stone.ast.*; 

chap6.Environment; 
chap6.BasicEvaluator; 
chap6.BasicEvaluator.ASTreeEx; 
chap7.FuncEvaluator.PrimaryEx; 
chapll.ArrayEnv; 

chapll.EnvOptimizer; 

chapll.Symbols; 
chapll.EnvOptimizer.ASTreeOptEx; 
chapll.EnvOptimizer.EnvEx2; 
chapll.EnvOptimizer.ParamsEx; 
chap12.0ptStoneObject.AccessException; 


import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 
import 


GRequire (EnvOptimizer.class) 
GReviser public class ObjOptimizer ( 
GReviser public static class ClassStmntEx extends ClassStmnt [ 
public ClassStmntEx(List«ASTree» c) { super(c); } 
public void lookup (Symbols syms) {} 
public Object eval (Environment env) { 


) 


) 


Symbols methodNames - new MemberSymbols(((EnvEx2)env).symbols(), 


MemberSymbols.METHOD); 
Symbols fieldNames - new MemberSymbols (methodNames, 

MemberSymbols.FIELD); 
OptClassInfo ci - new OptClassInfo(this, env, methodNames, 


fieldNames); 

((EnvEx2)env).put(name(), ci); 
ArrayList«DefStmnt» methods - new ArrayList«DefStmnt»(); 
if (ci.superClass() !- null) 

ci.superClass().copyTo(fieldNames, methodNames, methods); 
Symbols newSyms - new SymbolThis(fieldNames); 
((ClassBodyEx)body()).lookup(newSyms, methodNames, fieldNames, 

methods); 


ci.setMethods (methods); 
return name(); 


GReviser public static class ClassBodyEx extends ClassBody { 
public ClassBodyEx(List«ASTree» c) { super(c); ) 
public Object eval(Environment env) { 


for (ASTree t: this) 
if (!(t instanceof DefStmnt)) 
((ASTreeEx)t).eval(env); 
return null; 
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) 
public void lookup(Symbols syms, Symbols methodNames, 

Symbols fieldNames, ArrayList«DefStmnt» methods) 
{ 


for (ASTree t: this) { 
if (t instanceof DefStmnt) { 
DefStmnt def - (DefStmnt)t; 
int oldSize - methodNames.size(); 
int i - methodNames.putNew(def.name()); 
if (i >= oldSize) 
methods.add(def); 
else 
methods.set(i, def); 
((De£StmntEx2)def).lookupAsMethod(fieldNames); 


) 


else 
((ASTreeOptEx)t).lookup(syms); 


) 
) 
GReviser public static class DefStmntEx2 extends EnvOptimizer.DefStmntEx { 
public DefStmntEx2 (List«ASTree» c) ( super(c); } 
public int locals() { return size; } 
public void lookupAsMethod(Symbols syms) ( 
Symbols newSyms = new Symbols (syms); 
newSyms.putNew(SymbolThis.NAME); 
((ParamsEx)parameters()).lookup (newSyms); 
( (ASTreeOptEx)revise (body () ) ) .LIookup (newSyms); 
Size = newSyms.size(); 
) 
) 
GReviser public static class DotEx extends Dot { 
public DotEx(List«ASTree» c) ( super(c); } 
public Object eval(Environment env, Object value) { 
String member - name(); 
if (value instanceof OptClassInfo) { 
if ("new".equals(member)) ( 
OptClassInfo ci - (OptClassInfo)value; 
ArrayEnv newEnv = new ArrayEnv(1, ci.environment ()); 
OptStoneObject so - new OptStoneObject(ci, ci.size()); 
newEnv.put(0, 0, so); 
initObject(ci, so, newEnv); 
return so; 


} 
else if (value instanceof OptStoneObject) { 
try { 
return ((OptStoneObject)value).read (member); 
} catch (AccessException e) {} 
} 
throw new StoneException("bad member access: " + member, this); 
} 
protected void initObject(OptClassInfo ci, OptStoneObject obj, 
Environment env) 
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if (ci.superClass() != null) 
initObject(ci.superClass(), obj, env); 
((ClassBodyEx)ci.body()).eval(env); 


} 
} 


GReviser public static class NameEx2 extends EnvOptimizer.NameEx { 
public NameEx2 (Token t) ( super(t); } 
GOverride public Object eval(Environment env) ( 
if (index -- UNKNOWN) 
return env.get (name()); 
else if (nest -- MemberSymbols.FIELD) 
return getThis (env).read(index); 
else if (nest -- MemberSymbols.METHOD) 
return getThis (env) .method (index) ; 
else 
return ((EnvEx2)env).get(nest, index); 





) 


GOverride public void evalForAssign(Environment env, Object value) { 
if (index -- UNKNOWN) 
env.put(name(), value); 
else if (nest -- MemberSymbols.FIELD) 
getThis(env).write(index, value); 
else if (nest -- MemberSymbols.METHOD) 
throw new StoneException("cannot update a method: " + name(), 
this); 
else 
((EnvEx2)env).put(nest, index, value); 
) 
protected OptStoneObject getThis(Environment env) ( 
return (OptStoneObject) ((EnvEx2)env).get(0, 0); 


} 
} 


GReviser public static class AssignEx extends BasicEvaluator.BinaryEx { 
public AssignEx(List«ASTree» c) { super(c); } 
GOverride 
protected Object computeAssign(Environment env, Object rvalue) { 
ASTree le - left(); 
if (le instanceof PrimaryExpr) ( 


PrimaryEx p = (PrimaryEx)le; 
if (p.hasPostfix(0) && p.postfix(0) instanceof Dot) ( 
Object t = ((PrimaryEx)le).evalSubExpr(env, 1); 


if (t instanceof OptStoneObject) 
return setField((OptStoneObject)t, (Dot)p.postfix(0), 
rvalue); 


) 


return super.computeAssign(env, rvalue); 
} 
protected Object setField(OptStoneObject obj, Dot expr, Object rvalue) ( 
String name - expr.name(); 
try ( 
obj.write(name, rvalue); 
return rvalue; 
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) catch (AccessException e) { 


throw new StoneException("bad member access: " + name, 


) 


this); 





EE ObjOptlnterpreter.java 





package chap12; 

import stone.ClassParser; 

import stone.ParseException; 
import chapll.EnvOptInterpreter; 
import chapll.ResizableArrayEnv; 
import chap8.Natives; 


public class ObjOptInterpreter extends EnvOptInterpreter { 
public static void main(String[] args) throws ParseException { 
run(new ClassParser(), 
new Natives().environment (new ResizableArrayEnv())); 





DH PX] ObjOptRunner.java 


package chap12; 
import javassist.gluonj.util.Loader; 
import chap8.NativeEvaluator; 


public class ObjOptRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(ObjOptInterpreter.class, args, ObjOptimizer.class, 


NativeEvaluator.class); 





IP. 内 联 缓存 





之 前 已 经 提 到 ， 如 果 要 对 非 this 对 象 进行 方 法 调用 或 字段 引用 ， 上 一 童 及 本 章 介 绍 
的 Lookup 方法 将 不 再 有 效 ， 执 行 速度 无 法 得 到 提升 。 这 样 一 来 ,语言 处 理 带 在 调用 浮 数 或 引用 











字段 时 ， 就 不 得 不 通过 名 称 来 查找 环境 ， 从 哈 希 表 中 获取 对 应 的 值 ， 使 执行 速度 大 幅 下 降 。 














为 了 缓解 这 一 问题 ， 我 们 将 使 用 一 种 名 为 内 联 缓存 (inline cache) 的 方法 。 首 先 ， 我 们 假设 





FM 























序 需 要 引用 某 个 对 象 的 字段 。 正 如 之 前 所 讲 ， 只 有 在 实际 执行 后 语言 处 理 器 才能 确定 该 对 象 的 


类 型 。 不 过 ， 根 据 经 验 可 知 ， 同 一 位 置 出 现 的 对 象 通常 是 同一 种 类 型 。 即 使 是 采用 面向 对 象 思想 
写成 的 程序 也 是 如 此 。 我 们 能 够 利用 这 一 规律 优化 处 理 器 的 性 能 。 语 言 处 理 需 可 以 在 执行 程序 的 
同时 查找 字段 的 保存 位 置 ， 并 将 该 结果 与 对 象 所 属 的 类 型 结对 保存 。 之 后 ， 如 果 再 次 执行 同一 段 
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了 因 查 找 保存 位 置 而 造成 的 性 能 下 降 。 











nu 

















然 叫 内 联 缓存 ， 缓 存 值 究竟 以 内 联 的 形式 保存 到 哪里 了 呢 ? 























回 在 
回 例 





保存 在 语法 树 节 点 对 象 的 相应 字段 中 。 





抽象 语法 树 里 呀 。 









































如 ， 在 引用 字段 时 ， 信 息 将 由 与 该 字段 引用 表达 式 对 应 的 抽象 语法 树 缓存 ， 具 体 来 说 ， 是 






































n 通 




















常 ， 除 了 抽象 语法 树 的 节点 ， 中 间 代 码 和 二 进 制 代码 也 能 用 于 缓存 。 这 号 











的 核心 思想 在 于 ， 







































































b 语言 处 理 器 将 使 用 分 别 为 程序 的 代码 行 、 表 达 式 及 指令 准备 的 缓存 空间 。 


J 











代码 清单 12.9 中 的 InlineCache 修改 器 实现 了 内 





联 缓存 机 制 。 它 将 覆盖 Dot 类 





的 eval 方法 与 BinaryExpr 类 的 setField 方 法。 此 外 ， 它 还 会 为 每 个 类 添加 用 于 实现 缓存 
功能 的 classInfo FRA index 字段 (其 中 ，Dot 类 还 会 额外 新 增 一 个 isField 字段 )。 

Dot 类 的 eval 方法 用 于 读 取 字 有 段 的 值 ， 或 充当 方法 调用 表达 式 。set Field 方法 用 于 处 
理 赋值 表达 式 左 侧 是 某 个 对 象 的 字段 时 的 情况 。 这 里 的 setField 方 法 正 是 代码 清单 12.6 中 
由 AssignEx MAREI setField 方 法 。 这 两 个 方法 都 会 将 由 修改 器 添加 的 classInfo 字 


段 的 值 ， 与 当前 正 被 执行 方法 调用 或 字段 引用 的 对 象 类 型 进行 比较 。 如 果 相 同 ， 则 是 


经 过 InlineCache 修改 器 的 修改 后 





次 保存 的 值 。 




















了 次 利用 上 一 








， 解 释 需 将 支持 内 联 缓存 功能 。 解 释 器 本 身 的 程序 与 


代码 清单 12.7 中 的 相同 ， 不 过 ， 应 用 了 修改 器 的 解释 器 需要 通过 代码 清单 12.10 中 的 启动 程序 运 
行 。 它 与 代码 清单 12.10 及 更 早 的 代码 清单 12.8 中 的 启动 程序 大 同 小 异 ， 唯 一 的 区 别 在 于 启动 程 
序 中 的 run 方法 将 接收 不 同类 型 的 修改 骨 。 


AIEA]  InlineCache.java 

















package 
import 
import 
import 
import 
import 
import 


GRequir 
GRevise 


chap12; 
java.util.List; 
stone.StoneException; 
stone.ast.ASTree; 
stone.ast.Dot; 
chap6.Environment; 
javassist.gluonj.*; 


e(ObjOptimizer.class) 
r public class InlineCache { 


GReviser public static class DotEx2 extends ObjOptimizer.DotEx { 


protected OptClassInfo classInfo = null; 
protected boolean isField; 
protected int index; 
public DotEx2(List«ASTree» c) ( super(c); ] 
GOverride public Object eval(Environment env, Object value) { 
if (value instanceof OptStoneObject) ( 
OptStoneObject target - (OptStoneObject)value; 
if (target.classInfo() !- classInfo) 
updateCache (target); 
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if (isField) 
return target.read(index); 
else 
return target.method (index); 
} 
else 
return super.eval(env, value); 
} 
protected void updateCache (OptStoneObject target) { 
String member - name(); 
classInfo - target.classInfo(); 
Integer i - classInfo.fieldIndex (member); 
if (i f= null) ( 
isField - true; 
index - i; 
return; 


i = classInfo.methodIndex (member); 
if (i !- null) { 
isField - false; 
index - i; 
return; 
) 
throw new StoneException("bad member access: " + member, this); 
) 
) 
GReviser public static class AssignEx2 extends ObjOptimizer.AssignEx { 
protected OptClassInfo classInfo - null; 
protected int index; 
public AssignEx2(List«ASTree» c) ( super(c); } 
GOverride protected Object setField(OptStoneObject obj, Dot expr, 
Object rvalue) 
{ 


if (obj.classInfo() != classInfo) { 
String member = expr.name(); 
classInfo - obj.classInfo(); 


Integer i - classInfo.fieldIndex (member); 
if (i se nüll) 
throw new StoneException("bad member access: " + member, 
this); 


index - i; 
obj.write(index, rvalue); 
return rvalue; 





PT inlineRunnerjava 





package chap12; 
import javassist.gluonj.util.Loader; 
import chap8.NativeEvaluator; 
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public class InlineRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(ObjOptInterpreter.class, args, InlineCache.class, 
NativeEvaluator.class); 


) 











(gy sse Tus | 
Dl 测 一 下 代码 清单 12.11 的 执行 时 间 吧 。 先 测试 添加 this . 的 程序 ， 再 测试 去 除 this. 的 版 
本 ， 就 能 得 出 结论 了 。 
E] 也 就 是 说 ， 分 别 测试 启用 与 没有 启用 内 联 缓存 的 情况 对 吧 ? 
回 没 错 。 测 试 的 结果 是 ， 第 9 章 的 实现 最 终 耗 时 约 6.8 秒 。 如 果 不 支持 内 联 缓存 ， 本 章 的 优化 
版 本 需要 执行 约 5.7 秒 ， 如 果 支持 内 联 缓存 ， 则 大 概 只 要 5.0 秒 。 
哇 ， 即 使 没有 内 联 缓存 ， 性 能 也 提高 了 20% ， 有 内 联 缓存 之 后 更 是 提高 了 35% 呢 。 
B 要 我 说 呀 ， 这 些 数字 没 多 大 的 意义 。 基 准 测试 程序 的 写法 没有 一 个 定数 不 是 嘛 ? 如果 内 联 组 
存 能 发 挥 作用 的 机 会 较 少 ， 结 果 就 会 比较 糟糕 了 。 
| D 也 是 ， 只 有 大 量 运行 实际 的 程序 才能 知道 具体 结果 是 怎样 的 。 没 错 吧 FR | 


























































































































































































































测试 斐 波 那 契 数 的 计算 时 间 ( 面向 对 象 版 本 ) 
class Fib ( 
Fibo = 0 
fibl-1 
def fib (n) { 
if n=s= 0 1 
fibo 
} else { 
if n == { 
this fibi 
} else { 
fib(n = 1) + this.fib(n = 2) 
) 





- Fib.new 


print currentTime() - t + " msec" 
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之 前 的 Stone 语言 处 理 带 都 会 一 边 遍 有 历 抽象 语法 树 的 节点 ， 一 边 执行 程序 。 如 果 对 此 不 太 理 
解 ， 请 读者 回忆 一 下 eval 方法 的 执行 方式 。 

然而 ， 这 种 对 抽象 语法 树 节 点 的 遍历 操作 是 一 种 很 大 的 性 能 负担 。 在 之 前 的 章节 中 ,我 们 采 
用 了 事先 计算 能 够 计算 的 值 的 方针 来 优化 性 能 。 根 据 该 方针 ， 我 们 应 当 对 抽象 语法 树 的 遍历 操作 
做 相应 的 修改 ， 让 语言 处 理 器 能 够 预先 计算 可 以 计算 的 部 分 。 由 于 抽象 语法 树 的 形状 不 会 在 程序 
执行 过 程 中 发 生 改 变 ， 因 此 这 种 思路 应 该 没有 什么 问题 。 

为 了 实现 这 种 思路 ， 我 们 采用 了 和 名 为 中 间 代 码 解释 需 的 方式 。 这 里 的 中 间 代 码 也 能 称 为 二 进 
制 代 码 ， 人 们 有 时 也 会 用 虚拟 机 来 指 代 中 间 代 码 解释 器 。 这 些 名 称 的 含义 基本 相同 。 本 章 将 尝试 
通过 这 种 方式 提升 Stone 语言 处 理 避 的 性 能 。 

在 使 用 中 间 代 码 解 释 器 时 ， 我 们 要 事先 将 抽象 语法 树 转换 为 中 间 代 码 。 简 单 来 说 ， 中 间 代 码 
是 一 种 虚拟 的 机 需 语 言 ， 因 此 ， 中 间 代 码 的 转换 方法 ， 其 实 与 编译 需 将 抽象 语法 树 转换 为 真正 的 
机 器 语言 时 采用 的 方法 大 体 相 同 。 也 就 是 说 ， 本 章 将 会 讲解 如 何 为 Stone 语言 设计 编译 器 。 










































































是 于、 中 间 代 码 与 机 器 语言 


顾名思义 ,抽象 语法 树 具 有 树 形 结构 。 尽 管 我 们 前 面 用 了 遍历 这 样 一 个 看 似 平常 的 词 ， 实 际 
的 处 理 却 并 不 简单 。 语 言 处 理 需 需要 在 节点 之 间 往 返 操作 ， 读 者 仅 赁 直觉 也 能 想象 这 将 是 一 件 费 
时 的 工作 。 因 此 ， 如 果 语 言 处 理 需 能 够 事先 计算 遍历 顺序 ， 并 以 此 重新 排列 节点 ， 执 行 开 销 就 可 
能 有 所 降低 。 这 列 重 新 排列 的 节点 将 作为 中 间 代 码 保 存 ， 语 言 处 理 需 在 执行 程序 时 将 不 再 使 用 抽 
象 语法 树 ， 而 改 用 这 一 中 间 代 码 。 这 就 是 中 间 代 码 解 释 器 的 基本 原理 。 

通常 ， 语 言 处 理 器 不 会 直接 将 重新 排列 的 抽象 语法 树 节 点 作为 中 间 代 码 使 用 。 如 果 直 接 保 存 
抽象 语法 树 的 节点 ， 多 余 的 无 用 信息 是 一 种 空间 上 的 浪费 ， 因 此， 我 们 需要 设计 一 种 虚拟 的 机 器 
语言 ， 并 将 各 个 节点 转换 为 与 该 节点 运算 逻辑 对 应 的 机 器 语言 。 大 多 数 语言 处 理 器 使 用 的 中 间 语 
言 都 是 这 种 转换 后 的 代码 (图 13.1 )。 

我 们 把 根据 中 间 代 码 执行 实际 运算 的 程序 称 为 中 间 代 码 解释 器 或 虚拟 机 (virtual machine )。 
中 间 代 码 既 可 以 保存 在 内 存 中 ， 也 能 暂时 通过 文件 保存 ， 在 实际 执行 时 再 次 读 取 至 内 存 。 本 章 将 
采用 前 一 种 实现 方式 。Java 语言 采用 了 后 者 ， 并 将 中 间 代 码 称 为 Java 二 进 制 代码 。 此 外 ， 第 二 
种 方式 中 ， 生 成 并 保存 中 间 代 码 的 过 程 被 称 为 编译 。 
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抽象 语法 树 重新 按 行 排列 中 间 代 码 
( 以 13、x、+ 的 顺序 遍历 ) 


抽象 语法 树 与 中 间 代码 














用 于 表示 中 间 代 码 的 虚拟 机 顺 语 言 不 一 定 要 与 实际 的 机 天 语言 相近 ， 通 常 ， 我 们 以 能 由 中 间 
代码 解释 器 高 速 执行 为 目标 设计 虚拟 机 器 语言 ( 否则 中 间 代码 转换 将 没有 意义 )。 不 过 ， 由 于 本 
章 还 会 讲解 Stone 语言 编译 需 设 计 的 基本 概念 ， 因 此 最 终 采 用 了 与 实际 的 机 器 语 言 类 似 的 虚拟 机 
咒语 言 。 编 译 器 同样 会 执行 词法 分 析 与 语法 分 析 ， 并 创建 抽象 语法 树 。 编 译 需 与 解释 器 唯一 的 区 
别 在 于 ， 之 后 它 并 不 是 通过 eval 方法 执行 程序 ， 而 是 将 抽象 语法 树 转换 为 机 絮语 言 ， 并 以 文件 
形式 保存 。 

[ 



































D] 本 章 还 会 讲解 Stone 语言 编译 器 呀 ? 十 
O 我 的 确 打算 介绍 一 些 编译 器 的 设计 ， 不 过 这 里 采用 的 虚拟 机 器 语言 和 A32 之 类 实际 的 机 器 语 
言 相 比 实在 是 非常 简单 ， 只 是 基本 中 的 基本 。 而 且 编译 器 设计 过 程 中 最 重要 的 代码 优化 问题 
也 没有 涉及 。 
实际 的 编译 器 并 不 仅仅 是 简单 地 将 抽象 语法 树 的 节点 重新 排列 并 转换 为 机 器 语言 就 行 了 ， 它 
门 还 需要 通过 各 种 手段 尽 可 能 提高 机 器 语言 的 性 能 。 
恩 ， 这 就 是 代码 优化 。 
恩 ……:|A32 是 什么 ? 
就 是 32 位 的 英特尔 架构 呀 ， 你 不 知道 吗 ? 
阿 ， 怎 么 可 能 ， 我 当然 知道 啦 。 
lA32 太 过 复杂 ， 没 有 必要 ， 如 果 使 用 与 |A32 类 似 的 虚拟 机 器 语言 ， 反 而 不 容易 看 清 中 间 代 
L 码 的 本 质 。 因 此 没 必要 采用 类 似 的 设计 。 y 
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EEP stones 

本 章 设 计 的 中 间 代 码 解释 器 称 为 Stone 虚拟 机 。 它 处 理 的 中 间 语 言 称 为 虚拟 机 器 语言 。 

Stone 虚拟 机 由 若干 个 通用 寄存 器 与 内 存 组 成 。 内 存 分 为 四 个 区 域 ， 分 别 是 栈 (stack ) IX, 
堆 (heap ) 区 、 程 序 代码 区 与 文字 常量 区 。 虚 拟 机 器 语言 保存 于 程序 代码 区 ， 字 符 串 字面 量 保存 
于 文字 常量 区 。 
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a 这 里 使 用 了 通用 寄存 器 ， 说 明 Stone 虚拟 机 是 一 种 寄存 器 机 器 ， 而 不 是 像 Java 虚拟 机 那样 ] 
的 堆栈 结构 机 器 ， 对 吗 ? 
| 回 咖 ， 没 错 ， 毕 况 如 今 的 处 理 器 多 是 些 提供 了 大 量 通用 寄存 器 的 寄存 器 机 器 。 | 


从 实际 的 机 器 语言 的 角度 来 看 ， 计 算 机 能 大 致 分 为 两 种 设备 ， 即 内 存 与 寄存 器 访问 器 ， 内 存 
是 一 个 巨大 的 byte 数组 ， 寄 存 右 访问 器 则 用 于 对 若干 个 通用 寄存 右 进 行 读 写 操作 。 这 里 暂 不 考 
虑 其 他 的 输入 输出 设备 。byte 类 型 用 于 表示 8 位 二 进 制 整数 ， 相 当 于 Java 语言 中 的 1 字 节 。 

内 存 虽 然 是 一 个 byte 数组 ,但 它 也 能 处 理 其 他 类 型 的 值 。 实 际 的 程序 通常 需要 处 理 32 位 
整数 、 浮 点 小 数 或 字符 串 等 各 种 类 型 的 值 ， 而 这 些 值 都 将 通过 8 位 整数 值 的 组 合 表 现 。 例 如 ， 
32 位 整数 将 以 8 位 为 一 组 分 解 成 4 组 ， 并 分 别 保存 至 内 存 ， 即 byte 数组 的 元 素 中 。 这 种 保存 
方式 称 为 编码 ( encode )。 因 此 ， 编 译 器 在 从 内 存 中 读 取 这 些 值 时 需要 进行 相应 的 解码 ( decode ) 
处 理 。 


































































































































































































内 存 | [4] ] 2|17|3 
机 器 语言 视点 下 的 计算 机 





处 理 器 将 从 指定 位 置 开 始 依次 读 取 用 于 表示 内 存 的 数组 元 素 ， 并 根据 元 素 的 值 执行 相应 的 操 
VECES 13.2 )。 例 如 ， 如 果 数 组 元 素 的 值 为 1， 处 理 器 将 对 寄存 器 的 值 求 和 ; 如 果 为 2， 则 从 内 存 
连续 读 取 4 个 元 素 ， 将 它们 解码 为 一 个 32 位 整数 后 ， 再 保存 至 寄存 带 中 。 这 些 用 于 表示 操作 类 
型 的 数字 称 为 机 器 语言 指令 。 为 了 实现 if 语句 等 条 件 判断 逻辑 ， 机 器 语言 指令 还 支持 根据 不 同 
的 条 件 读 取 相应 地 址 的 指令 。 

对 于 有 些 机 咒语 言 指令 ， 仅 任 1 个 pyte 数组 元 素 ( 即 1 FI) 无 法 完全 表现 所 要 实行 的 操 
作 内 容 。 例 如 ， 在 执行 四 则 运算 时 ， 除 了 运算 类 型 ， 机 咒语 言 指令 还 必须 标明 需要 进行 计算 的 寄 
存 右 。 因 此 ， 大 部 分 机 絮语 言 指令 将 通过 多 个 连续 元 素 值 的 组 合 ( BIET 8 ) 来 表现 需要 执行 
的 操作 。 这 也 是 一 种 编码 处 理 。 




























































































B 嗯 ， 在 遇 到 停止 指令 前 这 一 操作 将 会 不 断 重 复 。 








上 在 图 13.2 中 ， 指 令 读 取 器 会 在 执行 完 1 条 指令 后 ， 继 续 读 取 执行 下 一 条 相 邻 指令 对 吧 ? ] 
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通常 ， 从 机 咒语 言 的 角度 来 看 ， 实 际 的 内 存 是 一 个 byte 类 型 的 数组 。 为 了 简化 设计 ,在 
Stone 虚拟 机 中 仅 有 程序 代码 区 由 byte 数组 实现 ， 栈 区 和 堆 区 都 是 Object 类 型 的 数组 ,文字 
常量 区 则 是 String 类 型 的 数组 。 通 用 寄存 融 的 值 也 以 Object 类 型 表示 。 因 此 ， 虚 拟 机 在 向 内 
存 保存 各 种 类 型 的 值 时 ， 不 必 对 值 进行 编码 或 解码 ， 虚 拟 机 器 语言 的 程序 实现 得 到 了 简化 。 






































( pg 这 种 设计 让 人 党 得 这 只 是 一 个 虚拟 机 而 已 ， 实 际 的 计算 机 不 可 能 这 样 实现 的 吧 ? ) 
D 当然 ， 实 际 处 理 器 的 寄存 器 只 能 保存 32 位 或 64 位 的 比特 序列 。 不 过 如 果 要 遵循 这 种 设计 ， 
| 上 谍 执 机 的 实现 将 变 得 相当 复杂 。 



























































Stone 虚拟 机 除了 通用 寄存 器 外 还 提供 了 pc、fp、sp 和 ret 这 四 个 寄存 右 。 它 们 都 能 保 
ff int 类 型 的 整数 值 。pc 是 程序 计数 需 。 若 pc 的 值 为 i， 虚 拟 机 将 执行 程序 代码 区 从 前 端 数 
起 的 第 i 个 元 素 中 保存 的 机 器 语言 指令 。fp 与 sp 分 别 是 帧 指针 frame pointer) 与 栈 指 针 ( stack 
pointer )， 它 们 都 用 于 管理 栈 区 。ret 用 于 函数 的 调用 操作 。 

K 13.1 是 虚拟 机 器 语言 指令 一 监 。 请 读者 注意 ， 算 术 运 算 只 能 在 寄存 器 之 间 进 行 。 大 部 分 
指令 的 长 度 都 大 于 1 字 节 ， 需 要 由 多 个 字 节 表示 。 指 令 前 面 的 iconst 或 bconst 等 指令 类 型 
( 称 为 操作 人 码 ) 在 实际 中 将 由 8 位 整数 表示 。 代 码 清单 13.1 标明 了 指令 的 编号 以 及 寄存 器 编号 
( 称 为 操作 数 )。 操 作 数 由 特定 的 8 位 整数 表示 。 例 如 ， 表 中 的 int32 表示 操作 码 之 后 接续 的 32 位 
数 将 以 8 位 为 单位 分 解 ， 组 成 4 个 字 节 的 数据 。 其 他 诸如 int76 等 同 理 。 

下 面 的 指令 表示 将 整数 67 保存 至 名 为 r2 的 第 二 个 寄存 需 中 。 


3const 67 x2 





























该 指令 将 以 6 个 8 位 整数 表示 ， 依 次 保存 至 内 存 中 程序 代码 区 的 相 邻 元 素 中 。 


1i 0 0 0 67 «3 


第 1 个 数字 1 表示 iconst。 最 后 的 -3 表示 这 是 第 2 个 寄存 器 。Stone 虚拟 机 的 第 i 个 寄 
存 器 将 以 编号 -i-1 表示 。 中 间 4 个 数字 用 于 表示 32 位 的 整数 67。 整 数 67 从 高 位 起 以 8 位 为 
一 组 分 成 四 组 ， 每 一 组 都 能 视 为 一 个 8 位 整数 (图 13.3 )。 它 们 将 保存 于 程序 代码 区 中 相 邻 的 四 
个 byte 类 型 数组 元 素 中 (四 个 8 位 合计 32 位 )， 以 二 进 制 数 形式 表示 一 个 32 位 整数 。 不 难 理 
解 ， 保 存 的 四 个 元 素 中 有 三 个 值 为 0， 还 有 一 个 值 为 67。 

代码 清单 13.1、 代 码 清单 13.2 与 代码 清单 13.3 是 Stone 虚拟 机 的 程序 实现 。 其 中 ， 代 码 清 
单 13.2 是 表示 堆 区 的 对 象 接口 。 
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十 进 制 表示 67 
位 二 进 制 表 示 l 

o a ) 00000000 00000000 00000000 01000011 

以 8 位 为 单位 分 解 后 l l l i 

以 十 进 制 表示 0 0 0 67 
EIEE] 保存 在 内 存 中 的 67 
ESTESI Stone 虚拟 机 的 虚拟 机 器 语言 

iconst int32 reg 将 整数 值 int32 保存 至 reg 

bconst int8 reg 将 整数 值 int8 保存 至 reg 

sconst int16 reg 将 字符 常量 区 的 第 jnt76 个 字符 串 字 面 量 保存 至 reg 





























move src dest 


























在 栈 与 寄存 器 ， 或 寄存 器 之 间 进 行 值 复制 操作 ( src 与 dest 可 以 是 reg 或 int8 ) 





gmove src dest 



































在 堆 与 寄存 器 之 间 进 


行 值 复制 操 


^ (src 与 dest 可 以 是 reg & int16 ) 


































































































ifzero reg int16 如 果 reg 的 值 为 0， 则 跳 转 至 int16 分 支 

goto int16 强制 跳 转 至 /nt76 分 支 

call reg int8 调用 函数 reg， 该 函数 将 调用 int8 个 参数 ( 同时 ，call 之 后 的 指令 地 址 将 被 保存 至 ret 寄存 器 ) 
return 跳 转 至 ret 寄存 器 储存 的 分 支 地 址 

save int8 将 寄存 器 的 值 转移 至 栈 中 ， 并 更 改 寄存 器 fp 与 sp 的 值 

restore int8 还 原 之 前 转移 至 栈 中 的 寄存 器 值 

neg reg 反 转 reg 中 保存 的 值 的 正 负 号 





add reg: reg» 


计算 regi+regz 后 保存 至 regi 




































































sub reg: reg» 计算 regi-reg? 后 保存 至 regi 

mul reg: reg» 计算 regi x rego 后 保存 至 reg1 

div reg: reg? 计算 regi + rego 后 保存 至 regi 

rem regi reg» 计算 regi + rego 的 余数 后 将 余数 保存 至 /egi 

equal reg: rego 如 果 reg: = reg» 则 将 regi 赋值 为 1， 否则 赋值 为 0 
more reg: reg» 如 果 reg; > reg» 则 将 reg1 赋值 为 1， 否则 赋值 为 0 
less reg: reg» 如 果 reg: < reg» 则 将 regi 赋值 为 1， 否则 赋值 为 0 














X 本 表 中 ，/nt32 表示 32 位 整数 ，/int76 表示 16 位 整数 ，int8 表示 8 位 非 负 整数 ，/eg 表示 8 位 寄存 器 编号 。 


KE Opcode.java 








package chap13; 


import stone.StoneException; 


public class Opcode { 
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public static final byte ICONST = 1; // load an integer 

public static final byte BCONST = 2; // load an 8bit (1byte) integer 
public static final byte SCONST - 3; // load a character string 
public static final byte MOVE - 4; // move a value 

public static final byte GMOVE - 5; // move a value (global variable) 
public static final byte IFZERO - 6; // branch if false 

public static final byte GOTO - 7; // always branch 

public static final byte CALL - 8; // call a function 

public static final byte RETURN - 9; // xeturn 

public static final byte SAVE - 10; // save all registers 

public static final byte RESTORE = 11; // restore all registers 

public static final byte NEG - 12; // arithmetic negation 

public static final byte ADD - 13; // add 

public static final byte SUB - 14; // subtract 

public static final byte MUL - 15; // multiply 

public static final byte DIV - 16; // divide 

public static final byte REM - 17; // remainder 

public static final byte EQUAL - 18; // equal 

public static final byte MORE - 19; // more than 

public static final byte LESS - 20; // less than 


public static byte encodeRegister(int reg) ( 
if (reg » StoneVM.NUM OF REG) 
throw new StoneException("too many registers required"); 
else 
return (byte)-(reg + 1); 
} 
public static int decodeRegister (byte operand) { return -1 - operand; } 
public static byte encodeOffset(int offset) { 
if (offset » Byte.MAX VALUE) 
throw new StoneException("too big byte offset"); 
else 
return (byte)offset; 
} 
public static short encodeShortOffset(int offset) { 
if (offset « Short.MIN VALUE || Short.MAX VALUE « offset) 
throw new StoneException("too big short offset"); 
else 
return (short)offset; 
} 
public static int decodeOffset(byte operand) { return operand; } 
public static boolean isRegister(byte operand) { return operand < 0; } 
public static boolean isOffset(byte operand) { return operand >= 0; } 





ES 网 HeapMemory.java 





package chap13; 


public interface HeapMemory { 
Object read(int index); 
void write(int index, Object v); 
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EEE StoneVM.java 


package chap13; 
import static chapl13.Opcode.*; 
import chap8.NativeFunction; 





import stone.StoneException; 
import stone.ast.ASTree; 
import stone.ast.ASTList; 
import java.util.ArrayList; 





public class StoneVM { 
protected byte[] code; 
protected Object[] stack; 
protected String[] strings; 
protected HeapMemory heap; 





public int pc, fp, sp, ret; 

protected Object[] registers; 

public final static int NUM OF REG - 6; 

public final static int SAVE AREA SIZE = NUM OF REG + 2; 


public final static int TRUE - 1; 
public final static int FALSE - 0; 


public StoneVM(int codeSize, int stackSize, int stringsSize, HeapMemory hm) ( 
code = new byte[codeSize]; 
Stack = new Object[stackSize]; 
strings = new String[stringsSize]; 
registers - new Object[NUM OF REG]; 
heap - hm; 
) 
public Object getReg(int i) { return registers[i]; ] 
public void setReg(int i, Object value) { registers[i] = value; } 
public String[] strings() ( return strings; } 
public byte[] code() { return code; } 
public Object[] stack() ( return stack; } 
public HeapMemory heap() ( return heap; } 


public void run(int entry) { 
pc = entry; 
fp = 0; 
sp = 0; 
ret = -1; 
while (pc >= 0) 
mainLoop(); 
} 
protected void mainLoop() { 
switch (code[pc]) { 
case ICONST 
registers [decodeRegister(code[pc + 51)] 
pe += 6; 
break; 
case BCONST 
registers [decodeRegister(code[pc + 2])] = (int)code[pc + 1]; 
pe += 3; 
break; 


readInt(code, pc + 1); 
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case SCONST 
registers [decodeRegister(code[pc + 3])] 
= strings [readShort (code, pc + 1)]; 
pe += 4; 
break; 
case MOVE 
moveValue(); 
break; 
case GMOVE 
moveHeapValue(); 
break; 
case IFZERO : { 
Object value = registers[decodeRegister(code[pc + 11)]; 
if (value instanceof Integer && ((Integer)value).intValue() == 0) 
pc += readShort(code, pc + 2); 
else 
pe += 4; 
break; 
} 
case GOTO 
pc += readShort(code, pc + 1); 
break; 
case CALL 
callFunction(); 
break; 
case RETURN 
pc = ret; 
break; 
case SAVE 
saveRegisters(); 
break; 
case RESTORE 
restoreRegisters(); 
break; 
case NEG : ( 
int reg = decodeRegister(code[pc + 11); 
Object v = registers [reg] ; 
if (v instanceof Integer) 


registers[reg] - -((Integer)v).intValue(); 
else 
throw new StoneException("bad operand value"); 
pe += 2; 
break; 
) 
default 


if (code[pc] » LESS) 

throw new StoneException("bad instruction"); 
else 

computeNumber(); 
break; 


) 


protected void moveValue() { 
byte src = codel[pc + 1]; 
byte dest = code[pc + 2]; 
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Object value; 
if (isRegister(src)) 
value = registers[decodeRegister(src)]; 


else 

value = stack[fp + decodeOffset(src)]; 
if (isRegister (dest)) 

registers [decodeRegister(dest)] = value; 
else 

Stack[fp + decodeOffset(dest)] = value; 
pe += 3; 


protected void moveHeapValue() { 


byte rand = code[pc + 1]; 

if (isRegister(rand)) ( 
int dest = readShort(code, pc + 2); 
heap.write(dest, registers[decodeRegister(rand)]); 


) 


else ( 
int src = readShort(code, pc + 1); 
registers [decodeRegister(code[pc + 3])] = heap.read(src); 
) 
pe += 4; 
} 
protected void callFunction() { 


) 


Object value = registers[decodeRegister(code[pc + 1])]; 
int numOfArgs = codelpc + 2]; 
if (value instanceof VmFunction 


&& ((VmFunction)value).parameters().size() -- numOfArgs) { 
ret = pc + 3; 
pc = ((VmFunction)value).entry(); 


) 


else if (value instanceof NativeFunction 


&& ((NativeFunction)value).numOfParameters() -- numOfArgs) { 
Object[] args - new Object[numOfArgs]; 
for (inti = 0; i < numOfArgs; i++) 
args[i] = stack[sp + il; 
stack[sp] = ((NativeFunction)value).invoke (args, 
new ASTList(new ArrayList«ASTree»())); 
pe += 3; 
} 
else 


throw new StoneException ("bad function call"); 


protected void saveRegisters() { 


) 


int size = decodeOffset(code[pc + 11); 

int dest = size + sp; 

for (int i = 0; i < NUM OF REG; i++) 
stack [dest++] = registers[il; 

stack [dest++] = fp; 

fp = sp; 

Sp += size + SAVE AREA SIZE; 

stack [dest++] = ret; 

pe += 2; 


protected void restoreRegisters() { 
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int dest = decodeOffset (codqe [pc + 11) + fp; 
for (int i = 0; i < NUM OF REG; i++) 
registers[i] = stack[dest++]; 

Sp e fp 
fp = ((Integer)stack[dest-««]).intValue(); 
ret = ((Integer)stack[dest««]).intValue(); 
pe += 2; 

} 

protected void computeNumber() { 


int left = decodeRegister(code[pc + 11); 
int right = decodeRegister(code[pc + 2]); 
Object v1 = registers[left]; 
Object v2 = registers[right]; 
boolean areNumbers = v1 instanceof Integer && v2 instanceof Integer; 
if (code[pc] == ADD && lareNumbers) 
registers[left] = String.valueOf(vl) + String.valueOf (v2); 
else if (code[pc] == EQUAL && !areNumbers) ( 
if (v1 -- null) 
registers [left] 


v2 -- null ? TRUE : FALSE; 
else 
registers[left] = vi.equals(v2) ? TRUE : FALSE; 


if (lareNumbers) 
throw new StoneException("bad operand value"); 
int il = ((Integer)v1).intValue(); 
int i2 - ((Integer)v2).intValue(); 
int i3; 
switch (code[pcl) { 
case ADD 
i3 = iL + 12; 
break; 
case SUB: 
i3 s i1 - i2; 
break; 
case MUL: 
13 = 11 * 12; 
break; 
case DIV: 
ig = il / i27 
break; 
case REM: 
i3 = idi $ 12; 
break; 
case EQUAL: 
i3 = il == i2 ? TRUE : FALSE; 
break; 
case MORE: 
i3 = il > i2 ? TRUE : FALSE; 
break; 
case LESS: 
i3 = il < i2 ? TRUE : FALSE; 
break; 
default: 
throw new StoneException ("never reach here"); 
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} 

registers[left] = i3; 
} 
PC += 3; 


) 


public static int readInt(byte[] array, int index) ( 
return (array [index] << 24) | ((arraylindex + 1] & Oxff) << 16) 
| ((array[index + 2] & Oxff) << 8) | (arraylindex + 3] & Oxff); 
} 
public static int readShort(byte[] array, int index) { 
return (array[index] «« 8) | (array[index + 1] & Oxff); 
) 





EE. :Hirhscum 


顾名思义 ，Stone 虚拟 机 是 一 种 虚拟 的 计算 机 。 它 虽然 能 够 处 理 String 对 象 ， 但 无 法 直接 
操作 用 于 表示 环境 的 Environment 对 象 。 这 是 一 种 有 意 为 之 的 设计 。 本 章 将 根据 实际 处 理 需 
的 执行 方式 ， 通 过 内 存 栈 区 及 推 区 的 形式 来 实现 环境 。 此 外 ， 由 于 内 存 的 本 质 是 数组 ， 因 此 本 章 
会 采用 第 11 章 介绍 的 方法 ， 事 先 确 定 变 量 值 的 保存 位 置 ， 以 编导 而 非 名 称 查 找 环境 。 这 样 一 
来 ， 环 境 就 能 够 通过 数组 实现 。 
首先 ， 我 们 通过 堆 区 来 实现 用 于 记录 全 局 变量 的 环境 。 全 局 变量 只 需 使 用 一 个 环境 ， 
此 ， 我 们 将 直接 使 用 整个 堆 区 。Stone 虚拟 机 使 用 的 堆 区 实体 ， 是 一 个 由 代码 清单 13.2 中 
的 HeapMemory 接口 实现 的 对 象 。 该 接口 的 read 与 write 方法 能 够 以 数组 的 形式 操作 对 象 。 
代码 清单 13.4 中 的 St oneVMEnv 类 的 对 象 用 于 表示 堆 区 。 该 类 继承 了 第 11 章 代 码 清 单 11.2 中 
的 ResizableArrayEnv 类 ， 并 实现 了 HeapMemory 接口 (图 13.4)。 
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我 们 之 所 以 将 StoneVMEnv 类 设计 成 ResizableArrayEnyv 的 子 类 ,而 不 是 其 他 更 简单 
的 类 ， 是 因为 我 们 希望 能 够 将 该 类 的 对 象 作 为 Environment 对 象 使 用 。 之 后 也 会 讲 到 ， 虚 拟 机 
器 语言 转换 仅 涉 及 函数 的 主体 部 分 ， 最 外 层 代 码 中 的 语句 依然 会 像 之 前 那样 通过 调用 eval 方法 
执行 。 因 此 ， 用 于 记录 全 局 变量 的 环境 必须 也 能 以 已 有 的 Environment 对 象 实现 。 虽 说 我 们 也 
能 先 将 最 外 层 代码 中 的 语句 临时 转换 为 虚拟 机 器 语言 后 再 去 执行 ， 但 这 种 做 法 可 能 会 转换 一 些 不 
被 执行 的 语句 而 造成 时 间 的 浪费 ， 运 行 性 能 将 无 法 保证 。 

与 之 相对 地 ， 用 于 记录 局 部 变量 的 环境 将 通过 栈 区 实现 。 由 于 Stone 虚拟 机 需要 使 用 多 个 
用 于 记录 布局 变量 的 环境 ， 因 此 我 们 将 划分 栈 区 ， 为 每 一 个 环境 提供 必要 的 空间 。 在 本 章 中 ， 
Stone 语言 不 文 持 财 包 。 如 果 要 为 闭 包 提供 文 持 ， 基 于 栈 区 的 环境 实现 将 变 得 十 分 复杂 。 













































































| E c 语言 等 一 些 程序 设计 语言 不 支持 闭 包 也 是 出 于 同样 的 原因 。 ) 








MALESE] StoneVMEnv.java 


package chap13; 
import chapll.ResizableArrayEnv; 
public class StoneVMEnv extends ResizableArrayEnv implements HeapMemory { 
protected StoneVM svm; 
protected Code code; 
public StoneVMEnv(int codeSize, int stackSize, int stringsSize) { 
svm - new StoneVM(codeSize, stackSize, stringsSize, this); 
code - new Code(svm); 





) 


public StoneVM stoneVM() ( return svm; } 

public Code code() ( return code; } 

public Object read(int index) { return values [index]; } 
public void write(int index, Object v) { values [index] = v; } 





为 了 有 序 管理 从 栈 区 中 划分 出 的 空间 ， 明 确 它们 与 各 个 环境 的 对 应 关系 ， 我 们 将 采用 如 下 
的 设计 思路 。 用 于 记录 局 部 变量 的 环境 将 在 函数 首次 调用 时 创建 。 由 于 Stone 虚拟 机 不 支持 闭 
包 ， 因 此 在 函数 执行 结束 ,程序 返回 函数 调用 位 置 后 ， 就 不 青 需要 该 环境 。 考 虑 到 函数 可 以 髓 
套 调 用 ， 不 难 想象 ， 最 后 创建 的 那个 环境 总 会 第 一 个 作废 。 理 由 很 简单 ， 因 为 最 后 调用 的 函数 
总 会 最 先 结束 。 利 用 这 一 性 质 ， 我 们 就 能 够 通过 名 为 栈 的 数据 结构 来 管理 环境 与 栈 区 的 对 应 






























































( D] 因为 要 通过 栈 来 管理 ， 所 以 我 们 把 它 称 为 栈 区 ， 是 吗 ? D 
加 难道 不 是 因为 这 些 空 间 将 作为 栈 来 使 用 所 以 才 这 么 命名 的 吗 ? 
关于 这 个 栈 呢 …… 
回 数据 结构 里 的 栈 是 一 种 元 素 先进 后 出 的 容器 。 
这 我 当然 知道 啦 。 
D] 栈 的 意思 是 堆积 又 放 。 
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O 咖 ， 像 图 13.5 那样 堆 矢 保存 数据 的 话 ， 最 后 添加 的 数据 就 总 会 被 首先 取出 ， 非 常 巧 妙 。 楼 
| 大概 是 由 此 得 名 的 吧 。 | 
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保存 于 栈 中 的 数据 需 从 上 方 依次 取出 ， 正 好 与 存 入 的 顺序 相反 


在 执行 某 一 函数 /时 ，j 太 只 会 使 用 栈 区 的 一 部 分 作为 记录 局 部 变量 的 环境 。 这 部 分 栈 区 的 起 
始 与 未 尾 地 址 分 别 由 寄存 器 fp 与 sp 标识。 例如， 如 果 该 函数 使 用 了 数组 中 的 第 i 个 至 第 j-1 个 
元 素 ，fp 与 sp 的 值 将 分 别 为 i 与 j( 图 13.6)。 














































































































fp sp 
函数 f 正 在 执行 函数 f 
fp Sp 
函数 fi 峙 用 了 函数 9 ER | 函数 g 
fp sp 
返回 函数 f 函数 f 
fp sp 
函数 f 调 用 了 函数 h 函数 f 函数 hh 
fp sp 
函数 h 调 用 了 函数 i 函数 函数 用 函数 / 


















































通过 寄存 器 fp 与 sp 对 栈 进行 管理 
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| 四 

如 果 函 数 了 调用 了 男 一 个 函数 g， 寄 存 带 sp 的 值 将 被 复制 给 寄存 器 fp， 同 时 ，sp 的 值 将 根 
据 新 调用 的 函数 g 的 需要 增加 。 也 就 是 说 ，sp 与 fp 的 值 将 做 相应 的 调整 ， 使 新 调用 的 函数 g 能 
够 紧 接着 原 函 数 ,/ 继续 使 用 栈 区 。 


想 一 下 , 除了 通用 寄存 器 外 , 我 们 还 为 Stone 虚拟 机 设计 了 fp 与 sp 这 两 个 特殊 的 寄存 器 。 | 
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在 新 调用 的 函数 g 结束 执行 后 ， 程 序 将 返回 原先 的 函数 f， 并 还 原 寄 存 避 sp 与 fp 的 值 。 于 
是 程序 将 能 重新 使 用 之 前 的 环境 。 

此 时 ,函数 g 已 完成 调用 ，Stone 虚拟 机 不 需要 再 使 用 与 它 对 应 的 环境 ， 函 数 g 使 用 过 的 栈 
区 空间 能 够 被 其 他 环境 再 次 使 用 。 例 如 ， 如 果 函 数 / 之 后 又 调用 了 男 一 个 隐 数 ， 新 调用 的 函数 将 
与 函数 g 一 样 ， 紧 接着 函数 /划分 栈 区 ， 作 为 与 自己 对 应 的 环境 。 函 数 刀 与 函数 g 使 用 的 栈 区 会 有 些 
EA, MERZ g 已 经 结束 执行 ,与 之 对 应 的 环境 也 不 再 需要 ， 因 此 不 会 发 生 任何 问题 。 




































































( B 从 机 器 语言 的 角度 来 看 Java 语言 中 的 对 象 ， 会 发 现 它 也 是 由 内 存 这 种 巨大 的 byte 数组 的 一 | 
















































































部 分 实现 的 。 

回 虽然 名 为 对 象 ， 不 过 它 的 具体 实现 还 是 一 种 用 于 记录 字段 值 的 数据 结构 而 已 。 其 实 这 就 是 C 
语言 的 结构 体 。 

[I3 虚拟 机 必须 时 刻 管理 对 象 与 它们 使 用 的 byte 数组 片段 之 间 的 对 应 关系 ， 但 要 自己 设计 这 样 
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的 管理 程序 可 是 一 件 非常 不 容易 的 事情 。 这 种 程序 就 是 所 谓 的 垃圾 回收 器 。 
Bl 因为 最 后 创建 的 对 象 将 首先 作废 不 容易 实现 嘛 。 
回 内 存 管理 是 一 个 非常 复杂 的 话题 ， 可 以 另 写 一 本 书 来 讨论 。 不 过 ， 与 局 部 变量 的 环境 相关 的 
内 存 管理 相对 简单 些 。 

回 这 多 亏 了 “最 后 创建 的 环境 将 首先 作废 ”这 样 一 条 性 质 对 吧 ? 
| B 没 错 。 如 果 要 支持 闭 包 ， 这 个 性 质 就 将 不 再 适用 ， 程 序 会 变 得 非常 复杂 。 3 


















































































































































这 种 通过 栈 来 实现 环境 的 方法 , 能 将 各 个 环境 转化 为 由 寄存 器 fp 与 sp 标识 的 栈 区 区 间 。 这 
类 区 间 称 为 栈 帧 。 函 数 f 使 用 的 栈 帧 称 为 函数 了 的 栈 帧 ,函数 g 使 用 的 栈 帧 称 为 函数 g 的 栈 帧 ， 
以 此 类 推 。 本 章 会 以 与 第 11 章 (第 11 天) 类 似 的 方法 , 将 各 变量 的 值 保存 至 栈 帧 。 寄 存 器 fp 指 
向 的 元 素 是 栈 帧 的 前 端 ，Stone 虚拟 机 将 事先 确定 各 个 变量 的 值 应 当 保存 在 数组 从 该 元 素 起 数 起 
的 第 几 个 元 素 中 。 可 以 发 现 ， 这 与 第 11 章 的 实现 稍 有 不 同 。 由 于 这 里 不 像 第 11 章 那 样 需 要 使 
用 整个 数组 ， 只 需要 用 到 从 寄存 器 £p 所 指 位 置 开始 的 局 部 数组 ， 因 此 产生 了 上 述 差异 。 也 就 是 
Di, ATTAR fp 指向 的 元 素 是 用 于 实现 当前 环境 的 数组 前 端 。 






















































































p 
| E] 老师 ， 你 的 意思 是 说 ， 虚 拟 机 会 事前 确定 变量 的 值 应 当 保存 在 从 栈 帧 前 端 数 起 的 第 几 个 元 素 | 
是 吗 ? 

B 因为 只 有 在 实际 执行 程序 之 后 ， 我 们 才能 知道 某 个 栈 帧 具体 由 栈 区 中 的 哪些 元 素 组 成 ， 所 以 
| 虚拟 机 能 事先 确定 的 就 只 有 元 素 与 fp 指向 的 栈 帧 前 端的 相对 位 置 。 | 


E — 











































































































EZA seem 
为 了 将 抽象 语法 树 转换 为 虚拟 机 器 语言 ， 虚 拟 机 需要 像 图 13.1 那样 ， 一 边 遍 历 语法 树 ， 一 
边 将 与 各 节点 对 应 的 虚拟 机 器 语言 片段 依次 保存 至 内 存 的 程序 代码 区 中 。 各 节点 的 虚拟 机 器 语言 
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之 间 不 存在 上 下 文 关 系 ， 由 事先 制定 的 规则 转换 。 如 果 注 重 执行 速度 ， 虚 拟 机 就 必须 通过 各 种 方 
式 对 转换 后 的 机 需 语 言 进行 优化 。 不 过 ,本章 和 暂时 不 追求 执行 速度 ， 只 求 能 够 正确 运行 ， 因 此 和 采 
用 了 以 上 方针 。 同 时 ， 我 们 对 由 节点 转换 得 到 的 虚拟 机 需 语 言 片段 作 如 下 规定 。 


















































规定 : 为 了 保存 由 上 一 条 片段 计算 得 到 的 中 间 结 果 ， 第 0 ~ / 个 寄存 器 将 处 于 占用 状态 。 虚 拟 机 可 任意 使 





















































用 第 i+1 个 及 之 后 的 寄存 器 来 计算 当前 片段 。 计 算 结 果 将 最 终 保存 于 第 /+1 个 寄存 器 中 。 

















各 个 节点 将 根据 该 规定 转换 为 虚 . 

拟 机 器 语言 ， 并 依次 排序 。 最 终 ， 整 X 

棵 抽象 语法 树 都 将 被 转换 为 虚拟 机 ji move _ 变量 x 的 值 1 jx 的 节点 | | 
器 语言 。 例 如 ， 图 13.7 是 由 表达 式 r Y jadon oo 
(7 x) * y 转换 得 到 的 虚拟 机 器 /A N | move sayu n] 7^ | 
语言 。 图 的 左 侧 是 抽象 语法 树 ， 右 侧 "rg 34 y 的 节点 | 


是 与 之 对 应 的 虚拟 机 器 语言 。 
中， 与 节点 7 对 应 的 虚拟 

EL 7 is ee D A E RE 
NUT 保存 至 寄存 器 ro 中 。 该 寄存 器 现在 尚未 使 用 ， 与 以 上 规定 相符 。 

接 下 来 ， 我 们 来 看 一 下 节点 + 该 如 何 转换 为 虚拟 机 器 语言 。 首 先 ， 由 左 侧 的 节点 7 转换 得 到 
的 虚拟 机 器 语言 将 被 写 入 程序 代码 区 。 在 这 条 虚拟 机 器 语言 之 后 ， 紧 跟着 的 是 由 右 侧 的 节点 x 转 
换 得 到 的 虚拟 机 器 语言 。 在 执行 左 侧 的 虚拟 机 器 语言 后 ， 该 语句 的 计算 结果 必须 作为 表达 式 的 中 
间 结果 ， 保 存 至 寄存 器 =0， 因 此 ， 在 将 右 侧 转换 为 虚拟 机 器 语言 时 ， 寄 存 器 0 将 处 于 占用 状态 。 
于 是 ， 根 据 以 上 规定 ， 右 侧 的 虚拟 机 器 语言 的 计算 结果 将 保存 于 寄存 器 r1 而 非 ro 中 。 

































































(m 也 就 是 说 ， 由 于 第 0 个 寄存 器 被 占用 ， 根 据 规 定 ， 虚 拟 机 将 只 能 使 用 第 1 个 及 之 后 的 寄存 器 。 | 









































将 与 左右 两 侧 节 点 对 应 的 虚拟 机 器 语言 写 入 程序 代码 区 后 ， 语 言 处 理 器 将 接着 写 和 加 法 指 
^ add, add 指令 将 把 保存 了 中 间 结 果 ( 即 左 侧 的 计算 结果 ) 的 寄存 带 vo 与 保存 了 上 一 个 计算 结 
果 ( 即 右 侧 的 计算 结果 ) 的 寄存 器 r1 相 加 ， 并 保存 计算 结果 至 寄存 器 ro 中 。 以 上 就 是 与 节点 十 
对 应 的 整 条 虚拟 机 器 语言 及 相关 的 寄存 器 操作 。 计 算 结 果 保存 在 寄存 器 <o 中 ， 同 样 符合 之 前 的 
规定 。 由 于 左 侧 的 计算 结果 只 需 保存 至 加 法 运算 开始 为 止 ， 因 此 虚拟 机 可 以 放心 地 将 加 法 的 运算 
结果 写 入 r0. 

符合 规定 的 虚拟 机 器 语言 片 段 将 随 着 语法 树 的 遍历 递归 生成 ， 并 依次 写 人 程序 代码 区 ， 通 过 
这 种 方式 ， 语 言 处 理 需 能 够 轻松 地 将 抽象 语法 树 转 换 为 机 需 语 言 。 对 于 上 面 的 例子 ， 语 言 处 理 需 
只 要 在 节点 + 的 虚拟 机 器 语言 后 ， 继 续 将 节点 y 的 虚拟 机 器 语言 写 入 程序 代码 区 ， 最 后 再 写 入 
乘法 指令 mul ， 就 完成 了 整 棵 抽象 语法 树 的 机 器 语言 转换 。 整 个 转换 过 程 的 要 点 在 于 ， 用 于 保存 
中 间 计 算 结 果 的 寄存 器 必须 处 于 占用 状态 ， 不 能 为 之 后 的 虚拟 机 咒语 言 所 用 。 
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(m 堆栈 结构 机 器 也 会 用 类 似 的 方式 将 抽象 语法 树 转换 为 机 器 语言 ， 这 两 种 方式 的 本 质 是 相同 的 。 j 
回 教材 上 一 般 只 会 介绍 堆栈 结构 机 器 的 转换 方式 。 
就 是 那 种 将 表达 式 以 逆 波 兰 表 示 法 改写 ， 然 后 再 把 计算 结果 存 入 栈 中 的 做 法 ? 



























































































































































































































































回 呀 | 你 记得 可 真 清楚 。 
我 可 是 在 考试 前 通宵 去 背 的 ， 怎 么 能 忘 。 
回 我 说 两 者 本 质 相 同 ， 是 因为 寄存 器 组 能 够 被 视 作 一 种 特殊 的 栈 。 可 以 将 第 0 个 寄存 器 理解 为 
栈 的 底部 。 
回 如 果 第 0 个 至 第 / 个 寄存 器 正在 被 使 用 ， 虚 拟 机 就 只 能 使 用 第 /+1 个 寄存 器 中 的 数据 ， 这 就 
好 比 是 这 条 数据 盖 在 了 栈 的 顶部 对 吧 ? 
L B 没 错 。 如 果 用 逆 波 兰 表 示 法 改写 ， 就 相当 于 后 序 遍 历 ( post order ) 了 抽象 语法 树 。 i 








BAS S Ae EAE E RT ARA RENA E ALA, ERRERA 
Tei EREIZ AARDLA TEDDE, AREA ETC BUBUEd RN. 
表达 式 7+x+x 进行 转换 。 此 时 ， 最 佳 的 虚拟 机 咒语 言 如 下 。 
bconst 7 r0 
move 变量 x 的 值 r1 


acies OM 
add r0 r1 





然而 ， 根 据 以 上 介绍 的 方法 ， 我 们 将 得 到 一 个 更 加 元 长 的 转换 结果 。 虚 拟 机 需 语 言 中 将 包含 
两 条 move 指令 ， 两 次 执行 变量 x 的 值 至 寄存 器 的 复制 操作 。 














( B 机 器 语言 的 转换 过 程 本 身 并 不 复杂 ， 转 换 时 间 ( 编译 时 间 ) 很 短 。 À 
Hl 但 要 转换 出 运行 性 能 优秀 的 机 器 语言 可 就 不 容易 了 。 
B 嗯 ， 谁 都 知道 随意 转换 得 到 的 机 器 语言 绝对 快 不 起 来 呀 。 
Il Java 虚拟 机 也 会 在 运行 过 程 中 多 次 重新 编译 频繁 使 用 的 代码 ， 逐 渐 提 升 机 器 语言 的 性 能 。 
老师 ， 话 说 回来 ， 如 果 只 有 4 个 寄存 器 ， 并 且 都 处 于 占用 状态 ， 以 上 方法 就 行 不 通 了 呀 ! 
回 是 呢 。 根 据 规定 ， 下 一 条 虚拟 机 器 语言 片段 的 计算 结果 应 该 保存 在 第 5 个 寄存 器 中 才 行 。 
现在 我 们 就 只 有 4 个 寄存 器 呀 ， 用 不 了 第 5 个 。 
回 下 面 这 样 的 表达 式 在 进行 机 器 语言 转换 时 就 该 出 问题 了 吧 ? 







































































































































































& 4 (Qe (ez e e) 











[d 如 果 是 堆栈 结构 机 器 ， 栈 的 容量 是 无 限 的 ， 也 就 没有 这 个 问题 了 。 

B 我 们 能 不 能 让 寄存 器 也 有 无 限 多 呢 ? 

B 本 章 介 绍 的 程序 有 一 个 问题 ， 如 果 寄 存 器 不 足 ， 机 器 语言 转换 就 将 以 失败 告终 ， 同 时 程序 
将 报错 。 
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还 真是 偷工减料 啊 。 

B 只 要 好 好 设计 还 是 能 避免 这 个 问题 的 。 我 们 可 以 为 原来 的 程序 添加 一 些 局 部 变量 ， 这 样 表达 
式 的 中 间 计 算 结果 就 能 够 通过 这 些 局 部 变量 记录 ， 不 用 保存 至 寄存 器 。 当 然 ， 局 部 变量 只 能 
| 用 于 临时 保存 一 些 寄存 器 无 法 容纳 的 中 间 结 果 。 



























































































































































EEXA. 5183: i548 
EREMIA P, move 或 gmove 指令 能 够 将 变量 的 值 复 制 至 寄存 器 中 。move 指令 的 格 
式 如 下 。 


move 3 r1 








它 将 把 局 部 变量 的 值 复 制 到 第 1 个 寄存 器 <1 中 。 实 际 复制 的 值 是 栈 区 中 的 第 fp+ 3 个 元 素 
的 值 。 它 也 是 在 当前 环境 中 从 前 往 后 数 第 3 个 局 部 变量 的 值 。 
反之 ,下面 的 指令 能 够 将 寄存 器 rl 中 保存 的 值 复制 给 同一 个 局 部 变量 。 


move r1 3 




















读者 可 以 将 其 理解 为 局 部 变量 的 复制 操作 。 

















( 四 一 般 的 机 器 语言 是 写成 下 面 这 样 的 吧 ? | 


move r1 3(fp) 






































| Bl 因为 我 们 在 这 里 用 的 虚拟 机 只 能 指定 寄存 器 的 相对 ( 间接 ) 地 址 ， 所 以 可 以 简化 写法 。 J 























男 一 个 gmove 方法 则 用 于 全 局 变量 的 复制 ， 它 可 以 将 全 局 变量 的 值 复制 到 寄存 咒 中 。 


gmove 3 ri 








这 条 机 咒语 言 能 够 将 堆 区 从 前 往 后 数 第 3 个 元 素 的 值 复制 至 寄存 器 *l 中 。 如 果 替 
换 5 r1 的 位 置 ， 就 能 反 过 来 将 寄存 器 的 值 复制 到 堆 区 中 。 

由 于 在 确定 变量 值 的 保存 位 置 时 ， 变 量 所 属 的 作用 域 也 会 一 并 记录 ， 因 此 我 们 能 够 根据 作用 
域 区 分 目标 变量 是 一 个 局 部 变量 还 是 全 局 变量 。 只 要 遵循 该 规律 ， 语 言 处 理 器 就 能 在 进行 虚拟 机 
絮语 言 转 换 时 确定 应 当 使 用 move 还 是 gmove。 

















FID if 语句 与 vhile 语 句 

语言 处 理 妖 能 够 通过 分 支 指令 将 表示 语句 与 while 语句 的 抽象 语法 树 节 点 转换 为 虚拟 
机 器 语言 。Stone 虚拟 机 提供 了 ifzero 与 goto 这 两 种 分 支 指令 。 

Stone 虚拟 机 将 始终 执行 程序 计数 器 (寄存 器 pc ) 当前 指向 的 机 器 语言 指令 。 如 果 pc 的 值 
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为 50， 虚 拟 机 将 执行 程序 代码 区 中 从 前 往 后 数 的 第 50 个 元 素 保 存 的 指令 。 











^ 
| Dl 老师 ， 大 部 分 指令 的 长 度 都 在 2 SE S DL EUR, 











| 





程序 代码 区 是 一 个 byte 类 型 的 数组 ， 因 此 要 完整 保存 一 条 指令 需要 多 个 元 素 才 行 。 





























L B 你 们 说 的 没 错 。 准 确 地 说 ，pc 指向 的 只 是 指令 的 第 1 个 字 节 。 














在 执行 完 一 条 指令 后 ，pc 值 将 自动 增加 与 该 指令 长 度 相同 的 量 ， 以 指向 下 一 条 指令 。 因 此 ， 
Stone 虚拟 机 能 够 依次 执行 各 条 指令 。 同 时 ，pc 的 值 能 够 由 分 支 指令 更 改 。ifzezo 能 在 指定 
寄存 器 的 值 为 0 时 将 某 个 整数 值 加 至 寄存 器 pc，goto 则 能 强制 增加 pc HUE. pc 值 的 增加 量 中 
不 包括 被 执行 的 分 支 指令 的 长 度 。 如 果 pc 值 的 增加 量 为 正 ， 程 序 将 向 前 路 转 ， 如 果 为 负 则 向 后 





(反方 向 ) 跳 转 。 我 们 将 寄存 器 pc 的 这 一 用 于 实现 分 支 跳 转 的 增加 量 称 为 


if 语句 对 应 的 抽象 语法 树 节 点 的 虚拟 机 絮语 言 转换 
过 程 如 图 13.8 所 示 。 由 if 语句 的 条 件 表达 式 转换 得 到 的 
虚拟 机 器 语言 将 在 执行 后 把 结果 保存 至 寄存 器 ro 中 。 在 
Stone 语言 中 ， 只 有 0 为 假 (false )， 其 他 值 都 为 真 (true ), 
因此 ifzero 指令 能 够 在 条 件 表 达 式 的 值 为 假 时 ， 跳 转 执 
fT else 代码 块 中 的 语句 。 

while 语 句 对 应 的 抽象 语法 树 节 点 的 虚拟 机 器 语 
言 转换 过 程 如 图 13.9 所 示 。 与 if 语句 一 样 ， 该 转换 通 
过 ifzero 指 令 与 goto 指 令 实 现 。 在 本 章程 序 中 出 现 
的 while 语句 ， 都 将 以 该 图 左 侧 的 形式 转换 为 虚拟 机 器 语 
言 。 不 过 ， 如 果 能 转换 为 该 图 右 侧 形 式 的 虚拟 机 絮语 言 ， 虚 
拟 机 实际 执行 的 指令 总 数 将 会 减少 。 左 侧 的 虚拟 机 器 语言 














WERE. 

















| 拟 机 器 语言 


then | 









































| 代码 块 转换 得 到 的 虚 
上 xk 




















由 if£ 语 旬 转 换 得 到 的 虚拟 
机 器 语言 


在 循环 执行 时 将 执行 ifzero 与 goto 这 两 条 指令 ， 右 侧 则 只 会 执行 ifnonzero 这 一 条 分 支 指 


令 。ifnonzero 将 在 条 件 表 达 式 的 计算 结果 为 真 ( true ) 时 进 





文 持 该 指令 。 因 此 ， 本 章 将 把 while 语句 转换 为 左 侧 的 形式 。 


bconst 0 rO 
goto ” 偏 移 量 1 


bconst O ro 


条 件 表达 式 转换 得 到 的 | 












































| 虚拟 机 器 语言 | 由 需要 循环 执行 的 代码 块 
和 | 得 到 的 虚 所 EE 
ifzero r1 偏 移 量 1 | adii a dine 


| 由 需要 循环 执行 的 代码 块 | 
| 转换 得 到 的 虚拟 机 器 语言 | 














| 由 条 件 表达 式 转换 得 到 的 
I 虚拟 机 器 语言 


偏 移 量 





























goto” 偏 移 量 2 ifnonzero r1 


ja 








※ 规 定 “ 条 件 表 达 式 的 计算 结果 将 保存 于 


图 13.9 








行 跳 转 ， 不 过 ，Stone 虚拟 机 并 不 





寄存 器 r1 ， 代 码 块 的 计算 结果 将 保存 于 寄存 器 r0"。 
由 while 语 句 转换 得 到 的 虚拟 机 器 语言 ( 右 侧 的 指令 总 数 较 少 ) 
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「 TEAM. i Ex ifnonzero Wk! | 
E 要 为 虚拟 机 添加 这 个 功能 也 不 难 ， 只 要 稍微 修改 下 代码 清单 13.3 就 好 了 。 
人 四 我 说 你 们 呀 ， 老 师 不 是 说 过 希望 让 本 章 介绍 的 程序 尽 可 能 简短 易 读 吗 ? 可 别 忘 了 这 点 。 






























































证 双人、 西数 的 定义 与 调用 


在 讨论 如 何 将 函数 体 转换 为 虚拟 机 器 语言 之 前 ， 我 们 首先 要 考虑 函数 调用 所 需 的 实 参 与 返回 
值 的 传递 方式 ， 以 及 栈 帧 的 切换 机 制 等 问题 。 在 为 实际 的 处 理 器 设计 机 器 语言 时 也 要 考虑 这 些 规 
则 ， 人 们 通常 将 它们 称 为 调用 惯例 ( calling convention )。 

函数 的 调用 方 需要 将 实 参 保存 至 栈 区 中 。 也 就 是 说 ， 该 调用 方 需要 直接 把 实 参 保存 至 被 调 
用 函数 使 用 的 栈 帧 内 。 函 数 的 参数 将 始终 保存 在 栈 帧 前 端 ， 且 虚拟 机 能 够 事先 确定 函数 的 参数 与 
局 部 变量 在 栈 帧 中 的 保存 位 置 (图 13.10 )。 如 果 参 数 不 止 一 个 ， 它 们 将 依次 存 人 栈 帧 前 端 。 第 11 
章 介 绍 的 实现 也 是 如 此 。 这 样 一 来 ， 函 数 的 调用 方 能 够 轻松 将 参数 保存 至 正确 的 位 置 。 
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于 保存 $13 器 
于 保存 SEE 器 












































被 调用 函数 的 栈 帧 





all 
E" 
o 
N 











afl] 
ak 
Xt 
la 














第 2 个 参数 
第 1 个 参数 /返回 值 | fp / sp 旧 值 






































函数 调用 方 的 栈 由 























fp 旧 值 














栈 帧 的 使 用 方式 ( 假设 函数 具有 两 个 参数 ) 


Stone 虚拟 机 能 够 通过 call 指令 执行 函数 调用 。 抑 数 的 调用 方 将 首先 把 实 参 保存 至 被 调用 
函数 的 栈 帧 中 。 被 调用 函数 的 栈 帧 与 调用 方 的 栈 帧 相 邻 ， 因 此 只 要 知道 调用 方 栈 帧 的 大 小 ， 寄 存 
器 就 能 确定 实 参 的 保存 位 置 。 假 设 隐 数 调用 方 栈 帧 的 大 小 为 s， 第 i CLR 1 ) 个 参数 将 保存 于 栈 
区 的 第 fp + s + i -1 个 元 素 中 。 

寄存 带 fp 指向 调用 方 栈 帧 的 前 端 。 被 调用 函数 会 首先 执行 save 指令 (图 13.11 )。 该 指令 
将 在 栈 帧 末端 保存 所 有 通用 寄存 器 及 寄存 器 ret 与 fp 的 值 。 由 于 调用 方 可 能 会 把 计算 的 中 间 结 
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果 保 存在 寄存 器 中 ， 因 此 虚拟 机 必须 在 由 被 调用 函数 产生 的 数据 覆盖 这 些 寄 存 器 之 前 ， 将 它们 保 
存 至 栈 帧 中 。 函 数 的 调用 方 并 不 一 定 会 用 满 所 有 的 寄存 咒 ， 虚 拟 机 应 当 仅 保存 必要 的 寄存 咒 值 。 
不 过 ， 为 了 便于 实现 ， 本 章 通过 save 指令 保存 了 所 有 的 寄存 器 值 。 

















※ 函 数 调用 方 的 虚拟 机 器 语言 中 的 s 指 Xsave 5 restore 指令 的 操作 数 t 指 的 是 
的 是 调用 方 栈 帧 的 大 小 该 函数 用 到 的 参数 与 局 部 变量 的 数 










































































函数 名 称 转换 得 到 的 虚拟 机 器 | 














ll 


"| 


PERRE AA AAAA AAAA AAE 







































































| 由 第 1 个 参数 的 表达 式 转换 得 到 ; Re MEM 
| 的 虚拟 机 器 语言 — —— À— | l 由 函数 体 转换 得 到 的 虚拟 机 器 | 
move r1 第 s 个 元 素 所 处 的 位 RE 
由 第 2 个 参数 的 表达 式 转换 得 到 ， move r0 第 0 个 元 素 所 处 的 位 轩 
| Sedem | restoret 

move r1 第 s+1 个 元 素 所 处 的 位 置 return 

call rO 2 

move 第 s 个 元 素 所 处 的 位 置 ro 

函数 的 调用 方 被 调用 函数 






































用 于 实现 函数 调用 的 虚拟 机 器 语言 ( 假设 函数 调用 方 没有 占用 寄存 器 ， 函 数 具 有 两 个 参数 ) 
































( ey 栈 帧 的 未 尾 指 的 是 哪里 ? 从 图 13.10 看 ， 好 象 是 头 部 嘛 。 | 
回 A 君 ， 图 13.10 下 面 是 前 端 ， 上面 才 是 末尾 哦 。 新 的 栈 帧 会 从 上 面 进入 。 
B 保存 所 有 的 寄存 器 有 些 浪费 呢 。 
回 你 说 的 没 错 ， 遵 循 实际 的 调用 惯例 ， 虚 拟 机 一 般 不 应 该 保存 所 有 的 寄存 器 。 

L 回 调用 方 函数 的 职责 是 将 那些 还 没有 转移 保存 的 寄存 器 值 保存 起 来 吧 。 J 


save 指令 将 更 改 寄存 器 fp 与 sp 的 值 。 在 保存 原本 的 寄存 器 值 后 ， 它 首先 将 把 sp 的 旧 值 
复制 给 fp, ZEN sp 加 上 一 个 指定 的 值 。 这 样 一 来 ,寄存 带 fp 与 sp 就 会 指向 (被 调用 函数 使 
用 的 ) 新 的 栈 帧 。 

虚拟 机 应 当 在 函数 体 执行 完成 后 将 返回 值 返回 给 函数 的 调用 方 ， 它 需要 将 由 save 指令 保存 
的 值 还原 至 寄存 器 中 。Stone 虚拟 机 会 把 返回 值 保存 在 被 调用 函数 的 栈 帧 前 端 。 调 用 方 能 够 由 此 
获取 返回 值 ， 并 根据 寄存 器 的 使 用 规则 将 它们 复制 给 指定 的 寄存 器 。 

由 save 指令 保存 的 值 能 够 通过 restore 指令 还 原 。restore 指令 将 在 函数 调用 结束 前 
执行 ， 它 将 把 寄存 器 fp 的 值 复制 给 sp， 并 恢复 通用 寄存 器 与 寄存 器 ret 和 寄存 器 fp 在 转移 
之 前 的 原 值 。 于 是 ,寄存 器 值 将 还 原 为 执行 save 指令 之 前 的 状态 ,寄存 器 fp 与 sp 将 再 次 指向 
原来 ( 函数 调用 方 使 用 ) 的 栈 帧 。 虚 拟 机 将 在 执行 restore 指令 后 继续 执行 return 指令 ， 返 
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回 函 数 的 调用 方 。 准 确 地 说 ， 虚 拟 机 将 强制 跳 转 至 调用 方 函 数 call 指令 之 后 的 那 条 命令 。 寄 存 
t ret 中 保存 了 call 指令 的 返回 位 置 。return 指令 将 通过 (由 restore 指令 还 原 的 ) 寄存 
吉 ret 的 值 来 确定 返回 位 置 。 




















13.8 转换 为 虚拟 机 器 语言 


本 章 设 计 的 Stone 语言 处 理 器 将 在 执行 过 程 中 以 对 话 的 形式 获取 程序 输入 ， 之 后 先 把 它 转换 
为 抽象 语法 树 ， 再 进一步 将 抽象 语法 树 转 换 为 虚拟 机 需 语 言 并 执行 。 因 此 虚拟 机 咒语 言 的 转换 时 
间 也 包含 在 执行 时 间 中 。 由 于 这 个 原因 ， 我 们 不 需要 将 整个 程序 都 转换 为 虚拟 机 器 语言 ， 仅 需 转 
换 函 数 的 定义 部 分 。 也 就 是 说 ，Stone 语言 处 理 需 在 通常 情况 下 只 要 像 之 前 一 样 通过 eval 方法 
执行 程序 ， 只 有 在 遇 到 也 数 调用 时 才 需 要 通过 虚拟 机 执行 函数 体 。 
































































































































| B c 语言 会 事先 将 程序 转换 为 机 器 语言 ， 并 以 文件 保存 ， 因 此 不 必 在 意 转换 开销 。 | 
D] Java 语言 也 是 一 样 。 只 不 过 它 不 是 把 程序 转换 为 机 器 语言 ， 而 是 将 它 转换 为 二 进 制 代码 后 再 
保存 。 


























D 不 过 ，Java 虚拟 机 会 在 执行 过 程 中 将 二 进 制 代码 转换 为 机 器 语言 ， 这 就 是 所 谓 的 动态 编译 。 

园 嗯 ,说 到 动态 编译 ， 我 们 要 注意 的 是 ，Java 语言 并 不 会 把 所 有 的 二 进 制 代码 都 转换 为 机 器 
\ 语言 。 ] 

def 语句 用 于 定义 图 数 ，DefSstmnt 类 是 与 之 对 应 的 抽象 语法 树 节 点 类 ， 该 类 的 eval 方法 

和 原先 一 样 ， 将 返回 一 个 表示 函数 的 对 象 。 与 此 同时 ， 虚 拟 机 会 将 函数 体 转换 为 虚拟 机 器 语言 ， 
并 把 用 于 表示 困 数 的 对 象 记录 至 虚拟 机 融 语 言 的 前 端 。 代 码 清单 13.5 是 用 于 表示 函数 的 对 象 的 
类 定义 。 它 是 第 7 章 ( 第 7 天 ) 代码 清单 7.8 中 的 Function 类 的 子 类 。entry 字段 表示 虚拟 机 
器 语言 前 端 所 处 的 位 置 。 
VmFunction.java 


package chap13; 

import stone.ast.BlockStmnt; 
import stone.ast.ParameterList; 
import chap6.Environment; 
import chap7.Function; 

























































































public class VmFunction extends Function { 
protected int entry; 
public VmFunction(ParameterList parameters, BlockStmnt body, 
Environment env, int entry) 
{ 
super (parameters, body, env); 
this.entry = entry; 


) 


public int entry() { return entry; ] 
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抽象 语法 树 各 节点 类 的 compile 方法 将 实际 执行 把 抽象 语法 树 转 换 为 虚拟 机 絮语 言 的 操 
作 。 该 方法 与 eval 及 lookup 方法 类 似 ， 它 也 会 一 边 依次 遍历 抽象 语法 树 的 节点 ， 一边 生 成 虚 
EET EM 

DefStmnt 的 eval 方法 会 在 内 部 对 函数 体 的 抽象 语法 树 调用 compile 方 法, 将 其 转 
换 为 虚拟 机 絮语 言 。compile 方法 需要 用 到 lookup 方法 的 计算 结果 ， 与 第 11 章 的 情况 相 
lH], De£Stmnt 的 1ookup 方法 将 在 eval 方法 (以 及 eval 方法 中 的 compile 方 法 ) 之 前 调 
JH. lookup 方法 能 够 事先 确定 各 变量 值 在 环境 中 的 保存 位 置 。 

代码 清单 13.6 是 抽象 语法 树 各 个 类 的 compile 方法。 请 读者 注意 ， 该 程序 一 并 修改 
T Arguments 类 的 eval 方法 。 与 Arguments 类 的 对 象 对 应 的 抽象 语法 树 节 点 用 于 表示 实 参 
序列 。 虚 拟 机 将 通过 该 类 的 eval 方法 执行 最 外 层 代 码 中 的 函数 调用 ， 因 此 ， 虚 拟 机 器 语言 的 执 
行将 在 该 方法 中 开始 。 吗 数 调 用 结束 后 ， 程 序 将 返回 至 该 eval 方法 ， 并 把 从 栈 区 取得 的 返回 值 
设 定 为 eval 方法 自身 的 返回 值 。 























( 回 老师 ， 不 讲解 下 Blockstmnt 类 的 compile 方法 吗 ? | 

D 它 只 不 过 是 编译 了 代码 块 中 各 条 语句 ， 然 后 将 得 到 的 机 器 语言 依次 排列 而 已 。 

回 c.nextReg = initReg 是 什么 意思 ? 

B 这 条 语句 将 正在 使 用 的 寄存 器 的 数量 还 原 为 了 代码 块 执 行 之 前 的 数量 。 按 理 说 ， 在 语句 执行 
结束 结束 后 ， 计 算 结 果 将 被 保存 至 寄存 器 中 。 不 过 ， 由 于 代码 块 只 需 使 用 最 后 一 条 语句 的 计 
算 结 果 ， 因 此 不 必 保 存 其 他 的 中 间 结 果 。 
Hl 占用 一 个 寄存 器 来 保存 用 不 到 的 计算 结果 ， 也 没什么 意义 呢 。 

O 再 讲解 一 下 else 之 后 逻辑 行 吗 ? 
Bl 这 段 代 码 用 于 将 空 代码 块 转换 为 虚拟 机 器 语言 。Stone 语言 中 空 代码 块 的 计算 结果 为 0， 因 
| 此 我 们 会 得 到 这 样 的 虚拟 机 器 语言 。 


















































































































































































































































compile 方法 将 接收 一 个 code 对 象 作为 参数 。 代 码 清单 13.7 是 该 对 象 的 类 定义 。 该 对 象 
用 于 保存 虚拟 机 器 语言 转换 过 程 中 必需 的 信息 。 例 如 ，Stone 虚拟 机 的 引用 (svm)、 当 前 正在 转 
换 的 函数 的 栈 帧 大 小 ( frameSize )， 以 及 当前 正在 使 用 的 寄存 器 数量 (nextReg ) 等 信息 都 将 
通过 Code 对 象 保存 。 


WAEA VmEvaluator.java 


package chap13; 
import java.util.List; 
import stone.StoneException; 














import stone.Token; 

import chapll.EnvOptimizer; 

import chap6.Environment; 

import chap6.BasicEvaluator.ASTreeEx; 
import chap7.FuncEvaluator; 

import javassist.gluonj.*; 
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import static chap13.Opcode.*; 
import static javassist.gluonj.GluonJ.revise; 
import stone.ast.*; 


GRequire (EnvOptimizer.class) 
GReviser public class VmEvaluator { 
GReviser public static interface EnvEx3 extends EnvOptimizer.EnvEx2 { 
StoneVM stoneVM(); 
Code code(); 
} 
GReviser public static abstract class ASTreeVmEx extends ASTree { 
public void compile(Code c) {} 
) 
GReviser public static class ASTListEx extends ASTList { 
public ASTListEx(List«ASTree» c) { super(c); ] 
public void compile (Code c) { 
for (ASTree t: this) 
((ASTreeVmEx)t).compile(c); 
} 
} 
GReviser public static class DefStmntVmEx extends EnvOptimizer.DefStmntEx { 
public DefStmntVmEx(List«ASTree» c) { super(c); } 
GOverride public Object eval(Environment env) ( 
String funcName - name(); 
EnvEx3 vmenv - (EnvEx3)env; 
Code code = vmenv.code(); 
int entry = code.position(); 
compile (code); 
((EnvEx3)env).putNew(funcName, new VmFunction(parameters(), body(), 
env, entry)); 
return funcName; 
) 
public void compile (Code c) { 
c.nextReg - 0; 
c.frameSize = size + StoneVM.SAVE AREA SIZE; 
c.add (SAVE); 
c.add(encodeOffset(size)); 
( (ASTreeVmEx) revise (body ())).compile(c); 
c.add (MOVE) ; 
c.add(encodeRegister(c.nextReg - 1)); 
c.add(encodeOffset(0)); 
Cc.add (RESTORE) ; 
c.add(encodeOffset(size)); 
c.add (RETURN) ; 


) 


GReviser public static class ParamsEx2 extends EnvOptimizer.ParamsEx ( 


public ParamsEx2(List«ASTree» c) { super(c); ] 

GOverride public void eval(Environment env, int index, Object value) ( 
StoneVM vm - ((EnvEx3)env).stoneVM(); 
vm.stack()[offsets[index]] = value; 


} 
} 


@Reviser public static class NumberEx extends NumberLiteral { 
public NumberEx(Token t) { super(t); } 
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public void compile (Code c) { 
int v - value(); 
if (Byte.MIN VALUE <= v && v <= Byte.MAX VALUE) { 
c.add(BCONST) ; 
c.add( (byte) v) ; 
) 
else ( 
c.add(ICONST); 
c.add(v); 
) 
c.add(encodeRegister(c.nextReg-s«)); 
) 
) 


GReviser public static class StringEx extends StringLiteral { 
public StringEx(Token t) ( super(t); } 
public void compile (Code c) { 
int i = c.record(value()); 
c.add(SCONST) ; 
c.add(encodeShortOffset (i)); 
c.add(encodeRegister(c.nextReg-s«)); 


} 
} 


GReviser public static class NameEx2 extends EnvOptimizer.NameEx { 
public NameEx2 (Token t) ( super(t); } 
public void compile (Code c) { 

if (nest > 0) { 
c.add (GMOVE) ; 
c.add(encodeShortOffset (index)); 
c.add(encodeRegister(c.nextReg-s«)); 
} 
else ( 
c.add (MOVE) ; 
c.add(encodeOffset (index)); 
c.add(encodeRegister(c.nextReg-s«)); 


) 


public void compileAssign(Code c) { 

if (nest > 0) { 
c.add(GMOVE) ; 
c.add(encodeRegister(c.nextReg - 1)); 
c.add(encodeShortOffset (index)); 

) 

else ( 
c.add (MOVE) ; 
c.add(encodeRegister(c.nextReg - 1)); 
c.add(encodeOffset(index)); 


} 
} 


@Reviser public static class NegativeEx extends NegativeExpr { 
public NegativeEx(List<ASTree> c) { super(c); } 
public void compile (Code c) { 
( (ASTreeVmEx) operand ()).compile (c); 
c.add (NEG) ; 
c.add(encodeRegister(c.nextReg - 1)); 
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} 
} 


@Reviser public static class BinaryEx extends BinaryExpr { 
public BinaryEx(List«ASTree» c) { super(c); } 
public void compile(Code c) { 
String op - operator(); 
if (op.equals("s")) { 
ASTree 1 = left(); 
if (l instanceof Name) { 
( (ASTreeVmEx)right ()).compile(c); 
( (NameEx2)1).compileAssign(c); 


throw new StoneException("bad assignment", this); 
} 
else { 
(ASTreeVmEx)left() 
(ASTreeVmEx)right( 
.add (getOpcode (op) 


( ).compile(c); 

( ) 
c Ju; 
c.add(encodeRegister(c.nextReg - 2)); 
c r( 
c 


).compile(c); 





.add(encodeRegister(c.nextReg - 1)); 
.nextReg--; 


) 


protected byte getOpcode(String op) { 
if (op.equals("«")) 
return ADD; 
else if (op.equals("-")) 
return SUB; 
else if (op.equals("*")) 
return MUL; 
else if (op.equals("/")) 
return DIV; 
else if (op.equals("$")) 
return REM; 
else if (op.equals("-z")) 
return EQUAL; 
else if (op.equals("»")) 
return MORE; 
else if (op.equals("«")) 
return LESS; 
else 
throw new StoneException("bad operator", this); 


} 
} 


@Reviser public static class PrimaryVmEx extends FuncEvaluator.PrimaryEx { 
public PrimaryVmEx(List«ASTree» c) { super(c); } 
public void compile (Code c) { 
compileSubExpr(c, 0); 


) 


public void compileSubExpr(Code c, int nest) ( 


if (hasPostfix(nest)) ( 
compileSubExpr(c, nest + 1); 
( (ASTreeVmEx) revise (postfix(nest))).compile(c); 
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else 
( (ASTreeVmEx) operand()).compile(c); 
} 
} 


@Reviser public static class ArgumentsEx extends Arguments { 
public ArgumentsEx (List<ASTree> c) { super(c); } 
public void compile (Code c) { 

int newOffset - c.frameSize; 

int numOfArgs 0; 

for (ASTree a: this) { 
((ASTreeVmEx)a).compile(c); 
c.add (MOVE) ; 
c.add(encodeRegister(--c.nextReg)); 
c.add(encodeOffset (newOffset«-«)); 
numOfArgs--; 


.add (CALL); 
.add(encodeRegister(--c.nextReg)); 
.add (encodeOffset (numOfArgs)); 
.add (MOVE) ; 

.add (encodeOffset(c.frameSize)); 
.add (encodeRegister(c.nextReg-««)); 


A-A A OAN — 


) 


public Object eval(Environment env, Object value) { 


if (!(value instanceof VmFunction)) 
throw new StoneException("bad function", this); 
VmFunction func - (VmFunction)value; 
ParameterList params - func.parameters(); 
if (size() != params.size()) 
throw new StoneException("bad number of arguments", this); 


int num = 0; 
for (ASTree a: this) 
((ParamsEx2)params).eval(env, num++, ((ASTreeEx)a).eval(env)); 
StoneVM svm - ((EnvEx3)env).stoneVM(); 
svm.run(func.entry()); 
return svm.stack()[0]; 


} 

} 

@Reviser public static class BlockEx extends BlockStmnt { 
public BlockEx(List«ASTree» c) ( super(c); } 
public void compile (Code c) { 

if (this.numChildren() > 0) { 
int initReg - c.nextReg; 
for (ASTree a: this) { 
c.nextReg - initReg; 
((ASTreeVmEx)a).compile(c); 
} 
} 


else { 
c.add (BCONST) ; 
c.add( (byte)o0); 
c.add (encodeRegister(c.nextReg++));，; 


图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) 专 享 尊重 版 权 


183 


13.8 ”转换 为 虚拟 机 器 语言 


GReviser public static class IfEx extends IfStmnt { 
public IfEx(List«ASTree» c) { super(c); } 
public void compile (Code c) { 

( (ASTreeVmEx) condition()).compile(c); 
int pos = c.position(); 
c.add (IFZERO); 
c.add(encodeRegister(--c.nextReg)); 
c.add(encodeShortOffset(0)); 
int oldReg - c.nextReg; 
( (ASTreeVmEx) thenBlock()).compile(c); 
int pos2 - c.position(); 
c.add (GOTO) ; 
c.add(encodeShortOffset(0)); 
c.set(encodeShortOffset(c.position() - pos), pos + 2); 
ASTree b - elseBlock(); 
c.nextReg - oldReg; 
if (b La null) 
( (ASTreeVmEx)Db).compile(c); 
else ( 
c.add (BCONST) ; 
c.add((byte)0) ; 
c.add(encodeRegister(c.nextReg-«-«)); 
) 
c.set(encodeShortOffset(c.position() - pos2), pos2 + 1); 
) 
) 


GReviser public static class WhileEx extends WhileStmnt { 
public WhileEx(List«ASTree» c) ( super(c); ] 
public void compile (Code c) { 
int oldReg - c.nextReg; 
c.add (BCONST) ; 
c.add((byte)0) ; 
c.add(encodeRegister(c.nextReg-«-«)); 
int pos = c.position(); 
( (ASTreeVmEx) condition()).compile(c); 
int pos2 - c.position(); 
.add (IFZERO); 
.add(encodeRegister(--c.nextReg)); 
.add (encodeShortOffset(0)); 
.nextReg = oldReg; 
(ASTreeVmEx)body()).compile(c); 
int pos3 - c.position(); 
c.add (GOTO); 
c.add(encodeShortOffset(pos - pos3)); 
c.set(encodeShortOffset(c.position() - pos2), pos2 + 2); 


—0n0nn o 





ME Code.java 





package chap13; 


public class Code ( 
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protected StoneVM svm; 
protected int codeSize; 
protected int numOfStrings; 
protected int nextReg; 
protected int frameSize; 


public Code(StoneVM stoneVm) { 
svm = stoneVm; 
codeSize - 0; 
numOfStrings - 0; 


) 


public int position() ( return codeSize; } 

public void set(short value, int pos) { 
svm.code() [pos] = (byte) (value >>> 8); 
svm.code()[pos + 1] = (byte)value; 


} 

public void add(byte b) { 
svm.code() [codeSize««] = b; 

} 


public void add(short i) { 
add((byte) (i >>> 8)); 
add ((byte)i); 
) 
public void add(int i) { 
add((byte) (i »»» 24)); 
) 
) 


add((byte) (i >>> 16)); 
add((byte) (i >>> 8)); 
add ((byte)i); 


) 


public int record(String s) ( 
svm.strings() [numOfStrings] = s; 
return numOfStrings--«; 





[ER 通过 虚拟 机 执行 


最 后 ， 我 们 来 看 一 下 通过 Stone 虚拟 机 执行 程序 的 解释 器 与 它 的 启动 程序 。 代 码 清单 13.8 与 
代码 清单 13.9 分 别 是 这 两 个 程序 的 代码 。 本 章 代 码 清单 13.6 中 的 VmEvaluator 修改 器 利用 了 
第 11 章 实现 的 1ookup 方法。 因此， 修改 器 之 前 需要 添加 @Require 来 表示 它 依赖 于 第 11 章 
代码 清单 11.4 中 的 Envoptimizer 修改 器 。 程 序 将 在 启动 后 自动 应 用 该 修改 需 。 

在 解释 器 启动 后 ， 程 序 中 定义 并 调用 的 函数 将 通过 虚拟 机 执行 。 在 防 数 定义 时 ， 虚 拟 机 可 语 
言 转换 仅 需 执行 一 次 ， 也 就 是 说 ,一 旦 完成 定义 ， 虚 拟 机 就 能 反复 使 用 转换 得 到 的 虚拟 机 器 语 
言 ,不 存在 额外 的 开销 。 

如 前 所 述 ， 实 际 执行 编译 操作 的 是 定义 了 函数 的 def 语句 的 eval 方法 。 该 方法 将 进一步 
调用 compile J. PRESE. fH Arguments 类 的 eval 方法 执行 。 该 类 的 对 象 是 一 
种 用 于 表示 函数 调用 表达 式 的 抽象 语法 树 节点 。 如 果 函 数 又 调用 了 其 他 防 数 ， 解 释 器 不 会 再 次 使 
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用 Arguments 类 的 eval 方法 。 由 该 类 的 compile 方法 生成 的 虚拟 机 器 语 


S, 该 指令 将 直接 调用 新 的 函数 。 








通过 虚拟 机 执行 | 185 
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Fi 


含有 一 条 call 指 




















































































































































































































(m 程序 在 编译 为 机 器 语言 后 ， 执 行 速度 能 提高 多 少 呢 ? 结果 真是 令 人 期 待 呀 。 
B 咽 ， 只 计算 斐 波 那 契 数 的 话 ， 其 实 没 太 大 差别 。 甚 至 会 像 第 11 章 那 样 稍 慢 一 些 。 
怎么 这 样 呀 ， 白 费劲 了 。 
BH 之 所 有 会 有 这 个 问题 ， 是 因为 虚拟 机 的 实现 语言 是 Java 吗 ? 
B 很 难 讲 具 体 问题 出 在 哪里 。 倒 不 如 说 是 因为 之 前 设计 的 时 候 ， 我 们 没有 有 意识 地 考虑 虚拟 机 
器 语言 的 性 能 优化 。 
B 咽 ， 抽 象 语法 树 节 点 的 遍历 处 理 ， 其 实 并 不 会 明显 影响 速度 。 

































































[B 没 错 。 真 正 拖累 性 能 的 原因 和 第 11 章 大 同 小 异 ， 比 方 说 ， 在 Stone 虚拟 机 中 ， 整 数 是 通 
过 Integer 对 象 来 表示 的 ， 诸 如 此 类 。 
Bl 而 且 这 个 虚拟 机 还 存在 内 存 泄漏 问题 。 








Hl 呀 ! 还 有 这 种 错误 啊 。 





















































































































































H 从 函数 返回 时 ， 虚 拟 机 没有 处 理 那 些 不 再 使 用 的 栈 帧 。 于 是 其 中 包含 的 对 象 没 能 成 功 GC 
(垃圾 回收 )。 

回 哦 ， 也 就 是 说 没有 把 所 有 元 素 都 赋值 为 null 对 吧 。 

D] 老师 ， 如 果 经 常 GC， 会 不 会 影响 计算 斐 波 那 契 数 的 速度 呢 ? 

B 其 实 我 尝试 过 为 虚拟 机 的 restore 指令 添加 清空 栈 帧 ( 将 数组 元 素 赋值 为 nul1 ) 的 功能 ， 











| “不 过 从 结果 来 看 ， 没 什么 变化 。 
L 


J 








WAEREA Vminterpreter.java 





package chap13; 

import stone.FuncParser; 

import stone.ParseException; 
import chapll.EnvOptInterpreter; 
import chap8.Natives; 


public class VmInterpreter extends EnvOptInterpreter { 
public static void main(String[] args) throws ParseException { 
run(new FuncParser(), 


new Natives().environment (new StoneVMEnv(100000, 100000, 


1000))); 





ER VmhRunner.java 





package chap13; 
import javassist.gluonj.util.Loader; 
import chap8.NativeEvaluator; 


public class VmRunner { 
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public static void main(String[] args) throws Throwable { 
Loader.run(VmInterpreter.class, args, VmEvaluator.class, 
NativeEvaluator.class); 





副业 


如 果 发 现 忻 己 研 究 室 的 学 
生 在 开会 时 做 别 的 事 ， 我 
一 定 会 狠 狠 批 评 他 们 


某 位 非常 著名 的 编程 语言 开 冯 者 曾经 


在 讲坛 上 一 边 参 与 座谈 会 讨论 ， 一 边 
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性 能 优化 篇 


第 


14 为 Stone 语言 添加 静态 类 型 支持 以 
天 优化 性 能 


前 几 童 设计 的 Stone 语言 是 一 种 所 谓 的 动态 类 型 语言 ， 本 章 将 把 它 修改 为 一 种 静态 类 型 语 
， 并 通过 静态 类 型 信息 优化 程序 的 运行 性 能 。 

上 一 章 借 助 Java 语言 设计 了 一 种 专用 的 虚拟 机 ， 用 于 执行 中 间 代 码 。 从 内 部 来 看 ， 该 虚拟 
机 通过 Java 语言 的 Object 类 型 来 表示 所 有 类 型 的 值 ， 整 数 也 将 由 Integer 对 象 表现 。 不 只 是 
虚拟 机 ， 本 书 设计 的 解释 器 也 采用 了 这 种 设计 方式 。 不 可 否认 ， 这 是 程序 执行 速度 较 慢 的 一 个 重 
要 原因 。 

本 章 将 利用 静态 数据 类 型 ， 尽 可 能 以 inc 类 型 的 值 来 表示 整数 值 。 同 时 ， 我 们 将 不 再 使 用 
专用 的 虚拟 机 ， 而 会 直接 使 用 Java 虚拟 机 。 抽 象 语法 树 需 要 预先 转换 为 Java 二 进 制 代 码 ， 不 过 ， 
由 于 整数 改 以 inc 类 型 表示 ， 转 换 得 到 的 Java 二 进 制 代码 执行 效率 也 会 较 高 。Java 虚拟 机 能 够 
体现 实际 的 硬件 ， 并 将 整数 等 基本 数据 类 型 作为 非 对 象 的 特殊 数据 类 型 处 理 。 因 此 , 用 int 类 
型 的 值 而 非 Integer 对 象 表示 整数 时 ， 程 序 的 执行 效率 更 高 。 如 果 不 采 用 这 种 设计 ， 虚 拟 机 内 
部 就 将 在 inc 类 型 的 值 与 Integer 对 象 间 频繁 执行 转换 ， 影 响 性 能 。 


hill 



















































































(m 最 终 ，Stone 语言 也 具有 数据 类 型 了 啊 。 与 其 说 是 增强 ， 倒 不 如 说 是 一 种 倒退 。 À 
每 次 都 要 声明 数据 类 型 真 麻烦 呀 。 
那么 让 我 们 为 了 A 君 ， 再 添加 函数 型 语言 中 常见 的 类 型 推论 功能 吧 。 
Hl Scala 也 支持 类 型 推论 呢 。 


B 是 的 。 支 持 类 型 推论 之 后 ， 大 部 分 变量 都 无 需 声 明 类 型 ，Stone 语言 将 能 自动 推测 并 选择 合 


















































































































































适 的 类 型 。 
(D 原来 如 此 ， 也 就 是 说 会 选择 最 佳 答案 对 吧 。 











有 RN、 指定 变量 类 型 
支持 静态 数据 类 型 的 程序 设计 语言 (静态 类 型 语言 ， 静 态 语言 ) 的 特点 是 ， 它 需要 在 声明 变 
量 与 参数 的 同时 指定 它们 的 数据 类 型 。 如 果 语 言 文 持 类 型 推论 ， 一 部 分 甚至 大 部 分 的 类 型 指定 就 
能 省 略 。 不 过 ， 能 省 略 并 不 表示 它们 就 不 需要 指定 数据 类 型 。 
静态 语言 有 一 些 缺点 。 例 如 ， 即 使 有 需要 ， 数 据 类 型 不 同 的 变量 值 之 间 也 无 法 相互 赋值 ， 而 
且 某 些 变量 的 类 型 可 能 较为 复杂 ， 不 易 理 解 。 不 过 ， 静 态 类 型 语言 也 有 一 些 重要 的 优点 。 


o 通过 数据 类 型 检查 ， 它 能 在 一 定 程度 上 确保 程序 的 正确 性 
e 静态 数据 类 型 信息 有 助 于 提高 程序 的 执行 速度 
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前 者 能 够 在 程序 执行 前 ， 确 保 程序 不 会 在 执行 途中 ， 因 发 生 诸 如 函数 不 存在 ， 或 对 非 数值 类 
型 的 值 进行 乘法 计算 等 错误 ， 而 中 止 执行 。 不 过 ， 类 型 检查 具体 能 确保 多 大 程度 上 的 正确 性 ， 取 
决 于 该 语言 采用 的 数据 类 型 系统 。 如 果 语 言 采 用 了 强 数据 类 型 系统 ， 类 型 检查 机 制 将 能 确保 很 高 
的 正确 性 ， 否 则 就 只 能 检查 出 部 分 错误 。 
















































































(a 虽说 类 型 检查 能 够 确保 程序 正确 ， 但 并 不 是 说 用 不 着 调试 了 。 D 
回 不 过 ， 如 果 能 够 通过 机 器 检查 确保 一 定 程度 的 正确 性 ， 开 发 效率 也 能 得 到 很 大 的 提升 。 
D 也 就 是 说 ， 要 在 书写 数据 类 型 不 便 与 程序 的 正确 性 之 间 做 出 取舍 对 吧 ? 
回 不 光 是 写 起 来 不 方便 ， 要 将 一 段 能 够 正常 运行 的 动态 类 型 语言 程序 改 为 静态 类 型 语言 程序 ， 
使 其 能 通过 类 型 检查 ， 是 一 件 很 不 容易 ， 甚 至 不 可 能 的 事 。 这 也 是 静态 数据 类 型 的 一 个 不 足 。 
D] 这 要 看 数据 类 型 系统 研究 的 发 展 了 呢 。 
| B 虽 ， 确 实 。 现 在 的 数据 类 型 系统 有 时 还 不 能 很 好 地 表达 程序 员 的 设计 意图 。 ] 































































































































































































按照 惯例 ， 我 们 先 来 改进 Stone 语言 的 语法 ， 使 它 能 够 文 持 数据 类 型 声明 。 首 和 驳 增 加 的 
是 var 语句 。 它 用 于 定义 一 个 新 的 变量 ， 并 指定 该 变量 的 初始 值 与 数据 类 型 。 


var x: Int = 7 








上 例 中 的 语句 对 变量 x 做 了 定义 ， 它 是 一 个 Int 类 型 的 变量 ， 初 始 值 为 7。 读者 需要 注意 ， 
变量 声明 时 初始 值 不 得 省 略 。 变 量 名 之 后 跟 有 冒号 与 数据 类 型 ， 它 们 都 可 以 省 略 。 


var X = 7 














这 条 var 语句 省 略 了 变量 x 的 数据 类 型 。 如 果 不 需要 指定 数据 类 型 ， 语 句 中 的 var 也 能 省 
略 ， 仅 需 书写 x=7 即 可 。 也 就 是 说 ， 之 前 那 种 通过 赋值 表达 式 定义 新 变量 的 写法 依然 有 效 。 

















( Hl 以 :Int 的 方式 来 表达 数据 类 型 ， 跟 Scala 很 像 。 ) 











我 们 规定 ，var 语句 支持 声明 Int、String 与 Any 这 三 种 类 型 。Int 类 型 表示 整 
数 ，String 类 型 表示 字符 串 。RAny 同时 包含 整数 与 字符 串 这 两 种 类 型 。 也 就 是 说 ， 一 个 整数 值 
既 可 以 由 Int 类 型 表示 ， 也 能 由 Any 类 型 表示 。 字 符 串 也 是 如 此 。 

Any 类 型 的 变量 能 够 被 赋 以 Int Ek String 类 型 的 值 ， 反 之 则 不 行 。 在 将 Any 类 型 的 值 赋 
值 给 一 个 Int 类 型 的 变量 时 ， 如 果 该 值 不 是 一 个 整数 而 是 字符 串 ， 就 会 发 生 问 题 ， 因 此 Stone 语 
言 不 支持 这 种 操作 。 否 则 ，Int 与 String 类 型 的 变量 值 就 能 相互 转换 ， 为 变量 指定 数据 类 型 的 
做 法 将 失去 意义 。 









































| B any 类 型 的 变量 ， 既 能 用 整数 赋值 ， 也 能 用 字符 串 赋值 。 ) 
D] 总 而 言 之 ，Any 类 型 是 这 两 种 类 型 的 超 类 对 吧 ? 


就 像 是 Java 中 的 object 类 那样 ? 
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O 老师 ， 是 不 是 说 之 前 的 Stone 语言 里 ， 所 有 变量 都 属于 Any 类 型 呀 ? 

Hl 意思 是 有 点 像 ， 但 还 是 不 太一 样 呢 。 

Bi 嗯 ， 如 果 将 变量 定义 为 Any 类 型 ， 很 多 程序 就 无 法 正常 执行 了 。 本 章 之 前 的 Stone 语言 就 不 
存在 这 个 问题 。 例 如 ， 对 于 下 面 的 代码 ， 













































































x-- Utbrest 
puc 
xz3 


kene ce = 2 














如 果 x 的 类 型 是 Any， 就 会 发 生 数据 类 型 错误 。 
D] Hx * 2 中 的 x 如 果 是 Any 类 型 的 变量 ， 就 会 出 错 了 。 
D 就 算 没 有 后 两 行 ， 仍 然 会 发 生 数据 类 型 错误 哦 。 
| 小 H， 所 以 说 在 之 前 的 Stone 语言 中 ， 变 量 类 型 并 不 都 是 Any， 可 要 注意 了 。 J 





















































如 果 语 句 没 有 指定 数据 类 型 ， 变 量 的 类 型 将 取决 于 类 型 推论 的 结果 。 不 过 ,在 此 我 们 暂 先 不 
考虑 类 型 推论 ， 规 定 没有 指定 数据 类 型 的 变量 缘 为 Any 类 型 。 在 实现 了 类 型 推论 功能 之 后 ,我 
们 会 修改 这 一 规则 。 

SR Any 类 型 也 包含 整数 ， 但 它 只 支持 有 限 的 算术 操作 。Any 类 型 的 值 只 能 进行 + 运算 。 
男 外 ,原生 函数 toInt 能 接收 Any 类 型 的 值 作为 参数 ， 返 回 相应 的 rnt 值 。 除 此 以 外 ，-( 减 
法 ) 等 运算 都 无 法 用 于 Any 类 型 的 值 。 例 如 ,对 于 Any 类 型 的 变量 x， 即 使 它 的 值 为 整数 3， 表 
达 式 x-1 依然 会 引起 数据 类 型 错误 。 这 是 因为 ,变量 x 属于 Any 类 型 并 不 能 确保 它 的 值 一 定 是 
一 个 整数 。 



























































【加 老师 ， 话 说 回来， 函数 的 参数 不 需要 指定 数据 类 型 吗 ? ) 





除了 var 语句 ， 我 们 还 将 为 函数 定义 语句 添加 参数 及 返回 值 的 数据 类 型 指定 功能 。 例 如 ， 
语句 


def inc(n: Int): Int (n «4 1 ] 


定义 了 函数 inc， 它 将 接收 一 个 Int 类 型 的 参数 mn， 并 返回 一 个 Inc 类 型 的 返回 值 。 右 括 
号 ) 之 后 跟着 的 返回 值 的 类 型 。 与 var 语句 类 似 ， 冒号 : 与 后 接 的 数据 类 型 名 称 用 于 指定 参数 
或 返回 值 的 类 型 ， 它 们 同样 能 够 省 略 。 

代码 清单 14.1 列 出 了 对 Stone 语法 规则 的 一 些 修改 ， 经 过 这 些 修改 ，Stone 语言 将 能 
支持 上 述 数 据 类 型 指定 功能 。 与 var 语句 对 应 的 非 终 结 符 是 variable。 同 时 ， 我们 需要 
为 statement 增加 variable 这 一 可 能 情况 。 此 外 , param 与 def 的 定义 也 需要 修改 , 以 支持 
非 终 结 符 type tag. 

代码 清单 14.2 是 与 修改 后 的 语法 规则 对 应 的 语法 分 析 器 程序 。 代 码 清 单 14.3 与 代码 清单 
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14.4 是 新 定义 的 抽象 语法 树 节 点 的 对 象 类 型 。 
代码 清单 14.2 中 使 用 的 方法 大 多 已 经 在 第 7 章 ( 第 7 天 ) 的 7.1 节 中 作 了 说 明 。 
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首次 出 现 


的 只 有 reset 方法 。 该 方法 用 于 删除 由 超 类 FuncParser 继承 而 来 的 def 定义 。 在 代码 清单 





142 中 ， 原 有 的 def 定义 将 被 reset 方法 暂时 删除 ， 之 后 ， 它 将 由 构造 函数 重新 定义 








o 


为 了 执行 新 增 的 var 语句， 我们 通过 代码 清单 14.5 所 示 的 修改 融 为 VarStmnt 类 添加 
T eval 方法。 与 第 11 章 ( 第 11 天 ) 一 样 ， 本 章 也 将 通过 编号 而 非 名 称 碍 找 环 境 ， 事 先 确定 变 
量 值 的 保存 位 置 。 因 此 ，VarStmnt 类 还 需要 新 增 一 个 1ookup 方法 。 需 要 注意 的 是 ， 该 修改 
器 也 能 为 其 他 的 类 添加 或 修改 方法 。 由 于 def 语句 的 语法 有 些 变化 ， 与 之 对 应 的 抽象 语法 树 的 
形式 也 要 相应 更 改 。 为 此 ， 我 们 需要 修改 或 新 增 一 些 抽象 语法 树 节 点 类 中 的 方法 。 代 码 清单 14.5 
中 的 修改 器 虽然 尚 不 支持 实际 的 数据 类 型 指定 处 理 ， 且 不 会 执行 数据 类 型 检查 ， 但 已 经 能 够 正确 


























执行 变量 具有 数据 类 型 的 Stone 语言 程序 。 


DXLEAGLEN 与 数据 类 型 相关 的 语法 规则 





type tag : ":" IDENTIFIER 

variable : "var" IDENTIFIER [ type tag ] "-" expr 

param : IDENTIFIER [ type tag ] 

def : "def" IDENTIFIER param list [ type tag ] block 
statement : variable | "if" ... | "while" ... | simple 





TAERA TypedParser.java 


package stone; 
import static stone.Parser.rule; 
import stone.ast.*; 


public class TypedParser extends FuncParser { 
Parser typeTag = rule(TypeTag.class).sep(":").identifier (reserved); 
Parser variable - rule(VarStmnt.class) 
.Sep("var").identifier(reserved).maybe (typeTag) 
.Sep("2").ast(expr); 
public TypedParser() { 
reserved.add(":"); 
param.maybe (typeTag) ; 
def.reset().sep("def").identifier(reserved).ast(paramList) 
.maybe (typeTag) .ast (block); 
Statement.insertChoice (variable); 





SEA] VarStmntjava 





package stone.ast; 
import java.util.List; 


public class VarStmnt extends ASTList ( 
public VarStmnt(List«ASTree» c) ( super(c); } 
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public String name() ( return ((ASTLeaf)child(0)).token().getText(); } 
public TypeTag type() ( return (TypeTag)child(1); } 
public ASTree initializer() ( return child(2); } 
public String toString() { 
return "(var " + name() + " " + type() +" " + initializer() + ")"; 





EE TypeTag.java 





package stone.ast; 
import java.util.List; 


public class TypeTag extends ASTList { 
public static final String UNDEF = "«Undef»"; 
public TypeTag(List«ASTree» c) { super(c); } 
public String type() ( 
if (numChildren() » 0) 
return ((ASTLeaf)child(0)).token().getText(); 
else 
return UNDEF; 


) 


public String toString() ( return ":" + type(); } 





IHNEN TypedEvaluator.java 





package chap14; 

import java.util.List; 

import javassist.gluonj.*; 

import stone.ast.*; 

import chapll.EnvOptimizer; 

import chapll.Symbols; 

import chapll.EnvOptimizer.ASTreeOptEx; 
import chap6.Environment; 

import chap6.BasicEvaluator.ASTreeEx; 





GRequire (EnvOptimizer.class) 
GReviser public class TypedEvaluator { 
GReviser public static class DefStmntEx extends EnvOptimizer.DefStmntEx { 
public DefStmntEx(List«ASTree» c) { super(c); } 
public TypeTag type() ( return (TypeTag)child(2); } 
GOverride public BlockStmnt body() ( return (BlockStmnt)child(3); ) 
GOverride public String toString() { 
return "(def " + name() + " " + parameters() + " " + type() + " " 
+ body() + ")"; 


) 


GReviser public static class ParamListEx extends EnvOptimizer.ParamsEx { 
public ParamListEx(List«ASTree» c) { super(c); } 
GOverride public String name(int i) { 
return ((ASTLeaf)child(i).child(0)).token().getText(); 
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} 
public TypeTag typeTag(int i) ( 
return (TypeTag)child(i).child(1); 
} 
} 
GReviser public static class VarStmntEx extends VarStmnt [ 
protected int index; 
public VarStmntEx(List«ASTree» c) { super(c); } 
public void lookup (Symbols syms) { 
index = syms .putNew (name ()); 
((ASTreeOptEx)initializer()).lookup(syms); 
} 
public Object eval(Environment env) { 
Object value - ((ASTreeEx)initializer()).eval(env); 
((EnvOptimizer.EnvEx2)env).put(0, index, value); 
return value; 





有 多、 通过 数据 类 型 检查 发 现 错误 


经 过 一 番 努 力 ，Stone 语言 终于 实现 了 变量 数据 类 型 指定 的 功能 ， 接 下 来 我 们 将 根据 这 些 信 
息 ， 对 程序 进行 数据 类 型 检查 。 数 据 类 型 检查 将 分 析 程 序 包含 的 表达 式 中 所 有 的 静态 数据 类 型 ， 
对 变量 赋值 操作 中 的 数据 类 型 是 否 匹 配 、 字 符 串 之 间 是 否 执行 了 乘法 等 非法 运算 ， 以 及 函数 调用 
的 参数 类 型 是 否 正确 等 问题 进行 检查 。 具 体 来 说 ， 它 将 根据 变量 与 参数 的 数据 类 型 ， 检 查 程序 中 
所 有 的 表达 式 ( 包 括 子 表达 式 与 语句 ) 是 否 遵循 类 型 指派 规则 指定 了 相应 的 静态 数据 类 型 ， 确 保 
程序 上 下 文 没有 了 矛盾。 

为 了 实现 数据 类 型 检查 功能 ， 我 们 要 为 抽象 语法 树 的 节点 类 添加 typeCheck 方法 。 该 方法 
能 够 对 数据 类 型 进行 检查 ， 它 与 用 于 执行 程序 的 eval 方法 非常 类 似 ， 都 会 从 抽象 语法 树 的 根 节 
点 开始 递归 调用 自身 ， 完 成 整 棵 语法 树 的 忆 历 。 

eval 方法 将 接收 一 个 环境 作为 参数 ， 并 根据 该 环境 计算 表达 式 的 值 后 返回 。 这 里 计算 的 
表达 式 ， 是 与 以 eval 方法 的 调用 对 象 为 根 节 点 的 抽象 语法 树 对 应 的 表达 式 。 例 如 ， 对 与 表达 
式 x-2 对 应 的 抽象 语法 树 的 根 节点 对 象 调用 eval 方法 ,返回 值 就 是 该 表达 式 的 值 。 变 量 x 的 
值 由 eval 的 环境 参数 决定 。 对 于 用 于 执行 数据 类 型 检查 的 typeCheck 方法 ， 它 将 接收 一 个 数 
据 类 型 环境 作为 参数 ， 计 算 表达 式 的 静态 数据 类 型 并 返回 结果 。 以 x-2 为 例 ， 调 用 根 节 点 对 象 
的 typeCheck 方法 将 返回 该 表达 式 的 数据 类 型 。 变 量 x 的 数据 类 型 由 typecheck 方法 的 数据 
类 型 环境 参数 决定 。eval 方法 的 环境 参数 是 由 变量 名 与 对 应 的 值 组 成 的 名 值 对 , typeCheck 77 
法 的 数据 类 型 环境 则 是 由 变量 名 与 对 应 的 数据 类 型 组 成 的 名 值 对 。 

类 型 指派 规则 看 似 复杂 ， 其 实 它 的 核心 是 怎样 根据 各 条 表达 式 的 子 表达 式 类 型 ， 计 算 该 表达 
式 自 身 的 类 型 。 正 如 eval 方法 实现 了 表达 式 值 的 计算 ，typeCheck 方法 将 实现 对 各 个 抽象 语 
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法 树 节点 类 的 数据 类 型 的 计算 。 
例如 , 对 于 单 目 减 法 运算 表达 式 - (x * 2), 其 子 表 达 式 (x * 2) 是 - 运算 符 的 操作 数 , 必 
须 为 Int 类 型 。 于 是 ， 整 个 单 日 运算 表达 式 也 将 是 Int 类 型 。 这 就 是 类 型 指派 规则 。 



































( 加 准确 来 讲 ， 类 型 指派 规则 指 的 是 “由 于 操作 数 的 类 型 是 Tnt， 因 此 整个 表达 式 的 类 型 也 是 | 
Int", 
DE, ARAME? 

B 也 就 是 说 ， 类 型 指派 规则 并 没有 规定 如 果 操作 数 不 是 Int 类 型 ， 就 一 定 会 立即 报错 。 















































































































































D] 虽说 即使 操作 数 不 是 Int 类 型 也 不 会 立即 出 错 ， 但 由 于 没有 其 他 适用 的 指派 规则 ， 类 型 检查 
只 好 中 途 结束 ， 最 终 还 是 会 发 生 数据 类 型 错误 呢 。 
L 哦 ， 这 样 啊 ， 我 觉得 这 种 小 问题 无 所 谓 啦 。 ] 








有 具体 的 类 型 指派 规则 因 程序 设计 语言 而 异 。 在 Stone 语言 中 ， 双 目 运 算 表 达 式 的 类 型 指派 规 
则 稍 有 些 复 杂 ， 下 面 将 进行 详细 说 明 。 首 先 ， 如 果 运 算 符 两 侧 的 子 表达 式 都 是 Int 类 型 ， 整 个 
双 目 运算 表达 式 将 也 是 Int 类 型 。 对 于 + 表达 式 ， 如 果 两 侧 都 是 String 类 型 ， 整 个 表达 式 则 
是 String 类型， 否则 为 Any 类 型 。 这 使 + 运算 符 能 够 用 于 字符 串 的 连接 运算 。 还 有 一 种 特殊 
情况 是 = 运算 符 。 对 于 = 运算 符 ， 如 果 左 右 两 侧 的 类 型 一 致 ， 整 个 赋值 表达 式 的 类 型 将 与 子 表 
达 式 相同 。 如 果 左 侧 是 一 个 新 出 现 的 变量 ， 尚 无 特定 的 数据 类 型 ， 该 变量 将 被 指定 为 与 右 侧 相同 


的 类 型 。 


n 还 真 复杂 啊 。 ) 


代码 清单 14.6 是 用 于 添加 typeCheck 方法 的 修改 器 。 代 人 码 清 单 14.7 是 用 于 表示 数据 类 型 
环境 的 TypeEnv 类 的 定义 。typeCheck 方法 在 遇 到 类 型 错误 时 将 抛 出 TypeException 异常 。 
代码 清单 14.8 是 该 异常 的 定义 。 

用 于 表示 数据 类 型 环境 的 TypeEnv 类 保存 的 不 是 由 变量 名 与 类 型 组 成 的 名 值 对 ， 而 是 由 变 
量 的 保存 位 置 (用 于 表示 该 位 置 的 整数 ) 与 数据 类 型 组 成 的 名 值 对 。 在 此 我 们 将 沿用 与 第 11 章 
(第 11 天 ) 相似 的 方式 ， 使 该 类 在 执行 时 通过 编号 而 非 名 称 查 找 数据 类 型 环境 。 

代码 清单 14.9 中 , TypeInfo 类 的 对 象 表示 数据 类 型 。 该 类 定义 了 ANY. INT 与 STRING 这 
三 个 static 字段 。 它 们 都 是 TypeInfo 类 型 的 值 ， 表 示 各 自 对 应 的 数据 类 型 。 此 外 ， 该 类 还 
定义 了 UnknownType 5 FunctionType 这 两 个 内 套 子 类 。 前 者 表示 程序 省 略 了 类 型 指定 ， 并 
暂 日 采用 了 与 ANY 相同 的 实现 逻辑 。 在 之 后 实现 类 型 推论 时 ， 我 们 将 修改 该 类 的 实现 。 

"B TRES FunctionType 用 于 表示 函数 的 类 型 。 函 数 的 类 型 通过 参数 序列 的 类 型 与 返 
回 值 的 类 型 表现 。 例 如 ， 假 设 某 个 函数 将 接收 Inc 类 型 与 Any 类 型 的 参数 ， 并 返回 string% 
型 的 返回 值 。 这 样 一 来 ,我们 就 可 以 称 它 是 一 个 “依次 接收 Int 与 Any 类 型 的 参数 日 返回 值 
为 String 类 型 ”的 函数 。 
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抽象 语法 树 各 节点 类 的 typecheck 方 法 在 计算 类 型 时 ， 将 首先 递归 调用 子 表达 式 
的 typeCcheck 方法。 如 果 没 有 子 表 达 式 ， 则 调用 TypeInfo 对 象 的 assertSubtypeof 方 
法 ， 确 认 它 是 否 满足 类 型 指派 规则 的 前 提 条 件 。 例 如 ， 在 检查 由 = 运算 符 构 成 的 赋值 表达 式 
时 , typeCheck 方法 将 像 下 面 这 样 , 对 表示 左 侧 类 型 的 type 与 表示 右 侧 类 型 的 valueType Ji] 
Hi assertSubtypeof 方法 。 








valueType.assertSubtypeOf (type, tenv, this); 


ix & i 8] HH EL FR TES TÉ. 14.6 中 的 NameEx2 修改 器 。 其 中 ,type 5 valueType 都 
是 TypeInfo 类 型 的 对 象 。assertSubtypeof 方法 将 判断 valueType 表示 的 类 型 是 否 
5 type 表示 的 相同 ,或 是 它 的 子 类 ( 子 类 型 )， 如 果 不 是 ， 该 方法 将 抛 出 TypeException 异 
笛 ， 和 否则 不 执行 任何 操作 。 
































Í B 以 防 万 一 ， 我 还 是 再 重新 说 F, Ang 8s 类 型 是 了 类 型 的 子 类 ，T 就 是 S 的 父 类 。 | 
O 人 A 君 ， 如 果 一 个 类 型 是 了 类 型 的 子 类 ， 就 表示 我 们 可 以 放心 地 用 它 来 代替 T 类 型 使 用 。 

Eb 嗯 ， 如 果 是 了 类 型 的 子 类 ， 就 算 用 它 替 换 与 了 类 型 相关 的 表达 式 ， 其 他 表达 式 与 值 的 类 型 也 
不 会 产生 冲突 。 
四 这 两 种 说 法 听 着 没 区 别 啊 。 由 于 一 个 Int 类 型 的 值 同时 也 属于 Any 类 型 ， 因 此 Int 是 Any 
U 的 子 类 ， 这 样 理解 没 问 题 吧 ? J 





















































































































































在 对 赋值 表达 式 进 行 类 型 检查 时 ， 右 侧 表达 式 的 类 型 上 只 要 与 左 侧 的 变量 类 型 相同 ， 或 是 它 的 
子 类 即 可 。 因 此 ， 像 上 面 那样 调用 assertSubtypeof 方法 就 能 完成 检查 。 例 如 ， 假 设 = 运算 
符 右 侧 的 表达 式 为 Int 类 型 ， 这 时 ， 即 使 左 侧 变量 的 类 型 是 any， 也 不 会 发 生 数据 类 型 错误 。 


















































( 四 从 现在 起 ， 在 使 用 Stone 语言 时 , 不 仅 是 表达 式 ， 语 句 也 必须 都 指定 数据 类 型 才 行 。 | 





























由 于 Stone 语言 不 支持 return 语句 或 类 似 的 语法 功能 ， 因 此 不 仅 是 表达 式 ， 所 有 语句 都 必 
须 指 定数 据 类 型 。 首 先 ， 对 于 由 大 括号 { } 括 起 的 代码 块 ， 它 的 数据 类 型 与 其 中 最 后 一 条 语句 或 
表达 式 的 类 型 相同 。 代 码 块 中 其 余 表达 式 与 语句 的 类 型 将 被 忽略 。 

if 语句 中 的 条 件 表达 式 为 Int 类 型 。 整 条 if 语句 的 类 型 ， 与 最 终 执行 的 代码 块 类 型 相 
同 ， 由 条 件 表达 式 的 结果 决定 。 如 果 这 两 个 代码 块 的 类 型 不 同 ， 整 条 if 语句 的 类 型 将 是 这 两 种 
类 型 的 父 类 。 它 由 TypeInfo 类 的 union 方 法 确定 。 需 要 注意 的 是 ， 对 于 条 件 表 达 式 不 同 的 
(E, it 语句 将 分 别 执行 特定 的 代码 块 ， 因 而 具有 不 同 的 数据 类 型 。 如 果 if 语句 的 类 型 是 这 两 种 
代码 块 类 型 的 父 类 ， 那 无 论 最 终 执行 哪 一 个 代码 块 ， 都 不 会 发 生 问题 。 































































































( B 其 实 ，i 语句 的 条 件 表达 式 并 不 一 定 非 要 是 一 条 整数 运算 表达 式 。 当 仅 当 计算 结果 为 0 时 | 
表达 式 值 为 假 ， 除 此 之 外 ， 任 意 非 零 整 数 也 好 ， 字 符 串 也 好 ， 表 达 式 的 值 都 为 真 。 
加 不 过 ， 要 是 将 表达 式 的 类 型 限定 为 Int 类 型 ， 之 后 把 if 语句 转换 为 Java 语言 会 比较 容易 。 | 
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while 语句 的 条 件 表达 式 同样 是 Int 类 型 。 不 过 ， 整 条 





类 型 


while 语句 的 类 型 并 不 直接 沿用 代 








码 块 的 


ZAEO 


T IUE, while 语句 的 类 型 是 代码 块 类 型 与 Int 类 型 的 父 类 。 因 此 ，while 语 


句 只 能 是 Any 类 型 或 rnt 类 型 两 者 其 一 。 之 所 以 这 样 规定 ， 是 因为 如 果 while 语句 的 代码 块 尚 


PE 


未 执行 ， 语 句 的 计算 结果 为 0， 必然 属于 Int 

如 果 类 型 检查 的 对 象 是 def 语句 ， 整 条 语句 的 类 型 与 它 所 定义 的 函数 
该 函数 的 类 型 创建 一 个 Fu 
法 将 男 外 新 建 一 个 环境 ， 用 于 对 函数 体内 部 做 类 型 检查 。 环 境 创建 后 ，typ 





类 型 。 





























类 型 相同 。 它 将 根据 


nctionType 对 象 ， 并 添加 至 数据 类 型 环境 。 之 后 ，typeCheck 方 





eCheck 方法 将 把 函 














数 参数 的 类 型 添加 至 该 数据 类 型 环境 ， 并 检查 函数 体 ， 也 就 是 代码 块 的 类 型 是 否 与 函数 返回 值 的 











类 型 


$t, NOE TS. 























B 这 里 很 
环境 中 。 如 果 2 





EE 要 的 一 点 在 于 ，typeCheck 方 ; 
对 函数 体 做 类 型 检查 ， 弟 归 























调用 将 无 法 执行 。 





3i 
Lx 








首先 需要 将 FunctionType 对 象 添加 


7x 





EE 
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Arguments 2S T Xon KAMRAN, TV typeCheck 7r iX 
typeCheck 方法 ， 计 算 实 参 表 达 式 的 类 型 ， 并 检查 它们 与 形 参 的 类 型 是 
能 够 很 容易 通过 函数 调用 方 获知 。 整 个 函数 调用 表达 式 的 类 型 与 被 调 月 

















将 递归 调用 参数 的 
否 一 致 。 形 参 的 类 型 
函数 的 返回 值 类 型 











相同 。 

















类 型 


| 加 在 调用 函数 时 ， 如 果 不 知道 函数 调用 方 的 类 型 ， 就 无 法 执行 类 型 检查 了 。 

















此 ,为 了 让 函数 | 


























能 够 实现 递归 调用 ， 我 们 必须 把 它 的 数据 类 型 先 添 加 至 数据 类 型 环境 中 。 
EH 嗯 ， 那 在 遇 到 所 谓 的 相互 递归 时 ， 我 们 该 怎么 做 呢 ? 
? 


相互 递归 ? 
回 我 们 将 函数 £ 中 调 




















用 了 函数 g，g 中 又 调用 了 £ 的 情况 称 为 相互 递归 。 
O 在 本 章 中 还 不 能 实现 对 相互 递归 的 支持 。 我 把 它 留 作 读者 的 课 后 练习 了 。 


B 是 要 添加 类 似 于 Scheme fll OCaml 中 let rec 那样 的 语法 功能 吗 ? 






























































i" 


O 总 之 要 使 函数 能 够 被 重新 定义 。 现 在 这 种 做 法 将 以 数据 类 型 








为 了 实现 相互 递归 























周 用 ， 我 们 应 该 允许 程序 在 不 改变 函数 数据 类 型 的 前 提 下 重新 定义 函数 。 
回 也 就 是 说 ， 我 们 可 以 像 下 面 这 样 ， 先 临时 定义 odd，, 之 





i 

















def odd(x: Int): String ( "not implemented" } 
def even(x: Int): String ( 

B xe e ( "Yes" ) else ( odd(x - 1) )] 
def odd(x: Int): String ( 

if x -- 0 [ "No" ] else [( even(x - 1) )) 





me 


E 





D] 老师 ， 之 前 的 语言 处 理 器 理论 上 就 已 经 支持 
| B 这 是 为 了 之 后 把 它 转换 为 Java 二 进 制 代码 时 能 更 方便 些 。 




















重新 定义 函数 了 呀 ， 为 什么 算 作 数 和 


后 再 覆盖 该 定义 ， 对 吧 ? 





天 类 型 错误 呢 ? 
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MALNAR TypeChecker.java 


package chapl14; 

import java.util.List; 

import chap7.FuncEvaluator; 

import chapll.EnvOptimizer; 

import stone.Token; 

import static javassist.gluonj.GluonJ.revise; 
import stone.ast.*; 





import javassist.gluonj.*; 


GRequire (TypedEvaluator.class) 
GReviser public class TypeChecker { 
GReviser public static abstract class ASTreeTypeEx extends ASTree [ 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
return null; 


} 
@Reviser public static class NumberEx extends NumberLiteral { 
public NumberEx(Token t) { super(t); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
return TypeInfo.INT; 


) 
GReviser public static class StringEx extends StringLiteral [ 
public StringEx(Token t) ( super(t); ] 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
return TypeInfo.STRING; 


) 
GReviser public static class NameEx2 extends EnvOptimizer.NameEx { 
protected TypeInfo type; 
public NameEx2 (Token t) ( super(t); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
type - tenv.get(nest, index); 
if (type == null) 
throw new TypeException("undefined name: " + name(), this); 
else 
return type; 
} 
public TypeInfo typeCheckForAssign(TypeEnv tenv, TypeInfo valueType) 
throws TypeException 


type - tenv.get(nest, index); 

if (type -- null) ( 
type - valueType; 
tenv.put(0, index, valueType); 
return valueType; 





) 


else ( 
valueType.assertSubtypeOf (type, tenv, this); 
return type; 
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} 
} 


@Reviser public static class NegativeEx extends NegativeExpr { 
public NegativeEx(List«ASTree» c) { super(c); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
TypelInfo t = ((ASTreeTypeEx)operand()).typeCheck (tenv); 
t.assertSubtypeOf (TypeInfo.INT, tenv, this); 


B 


return TypeInfo.INT; 








) 
} 


GReviser public static class BinaryEx extends BinaryExpr { 
protected TypeInfo leftType, rightType; 
public BinaryEx(List«ASTree» c) { super(c); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
String op - operator(); 
if ("z".equals(op)) 
return typeCheckForAssign(tenv); 








else ( 
leftType - ((ASTreeTypeEx)left()).typeCheck(tenv); 
rightType - ((ASTreeTypeEx)right()).typeCheck(tenv); 
if ("+".equals (op)) 
return leftType.plus(rightType, tenv); 
else if ("-z".equals(op)) 
return TypeInfo.INT; 
else ( 


leftType.assertSubtypeOf (TypeInfo.INT, tenv, this); 
rightType.assertSubtypeOf (TypeInfo.INT, tenv, this); 
return TypeInfo.INT; 


) 


protected TypeInfo typeCheckForAssign(TypeEnv tenv) 
throws TypeException 
{ 
rightType = ((ASTreeTypeEx)right()).typeCheck(tenv); 
ASTree le - left(); 
if (le instanceof Name) 
return ((NameEx2)1le).typeCheckForAssign(tenv, rightType); 
else 
throw new TypeException ("bad assignment", this); 


} 
} 


@Reviser public static class BlockEx extends BlockStmnt { 
TypeInfo type; 
public BlockEx(List«ASTree» c) ( super(c); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
type = TypeInfo.INT; 
for (ASTree t: this) 
if (!(t instanceof NullStmnt)) 
type = ((ASTreeTypeEx)t).typeCheck(tenv); 








return type; 
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GReviser public static class IfEx extends IfStmnt { 
public IfEx(List«ASTree» c) { super(c); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 














TypeInfo condType = ((ASTreeTypeEx)condition()).typeCheck(tenv); 
condType.assertSubtypeOf (TypeInfo.INT, tenv, this); 

TypeInfo thenType = ((ASTreeTypeEx)thenBlock()).typeCheck(tenv); 
Typelnfo elseType; 








ASTree elseBk - elseBlock(); 
if (elseBk -- null) 
elseType - TypeInfo.INT 


else 





elseType = ((ASTreeTypeEx)elseBk).typeCheck (tenv); 
return thenType.union(elseType, tenv); 





) 


GReviser public static class WhileEx extends WhileStmnt ( 
public WhileEx(List«ASTree» c) ( super(c); ] 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 




















TypeInfo condType = ((ASTreeTypeEx)condition()).typeCheck(tenv); 
condType.assertSubtypeOf (TypeInfo.INT, tenv, this); 
TypeInfo bodyType = ((ASTreeTypeEx)body()).typeCheck(tenv); 


return bodyType.union(TypeInfo.INT, tenv); 


) 
GReviser public static class DefStmntEx2 extends TypedEvaluator.DefStmntEx [ 
protected TypeInfo.FunctionType funcType; 
protected TypeEnv bodyEnv; 
public DefStmntEx2(List«ASTree» c) { super(c); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
TypeInfo[] params - ((ParamListEx2)parameters()).types(); 
TypeInfo retType = TypeInfo.get(type()); 
funcType - TypeInfo.function(retType, params); 
TypeInfo oldType = tenv.put(0, index, funcType); 
if (oldType !- null) 














throw new TypeException("function redefinition: " + name(), 
this); 
bodyEnv - new TypeEnv(size, tenv); 





for (int i = 0; i < params.length; i++) 
bodyEnv.put(0, i, params[il); 
Typelnfo bodyType 
= ((ASTreeTypeEx)revise (body ())).typeCheck (bodyEnv) ; 
bodyType.assertSubtypeOf(retType, tenv, this); 
return funcType; 


) 


GReviser 
public static class ParamListEx2 extends TypedEvaluator.ParamListEx [ 
public ParamListEx2(List«ASTree» c) { super(c); ) 
public TypeInfo[] types() throws TypeException { 
int s = size(); 
TypeInfo[] result = new TypeInfo[s]l; 
for (int i = 0; i < s; i++) 
result [i] = TypeInfo.get(typeTag(i)); 
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return result; 


) 


GReviser public static class PrimaryEx2 extends FuncEvaluator.PrimaryEx { 
public PrimaryEx2 (List«ASTree» c) { super(c); } 
public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
return typeCheck(tenv, 0); 
) 
public TypeInfo typeCheck(TypeEnv tenv, int nest) throws TypeException { 
if (hasPostfix(nest)) ( 
TypeInfo target = typeCheck(tenv, nest + 1); 
return ((PostfixEx)postfix(nest)).typeCheck(tenv, target); 








) 
else 
return ((ASTreeTypeEx)operand()).typeCheck(tenv); 


) 


GReviser public static abstract class PostfixEx extends Postfix { 
public PostfixEx(List«ASTree» c) ( super(c); } 
public abstract TypeInfo typeCheck(TypeEnv tenv, TypeInfo target) 
throws TypeException; 
) 
GReviser public static class ArgumentsEx extends Arguments { 
protected TypeInfo [] argTypes; 
protected TypelInfo.FunctionType funcType; 
public ArgumentsEx(List«ASTree» c) { super(c); } 
public TypeInfo typeCheck(TypeEnv tenv, TypeInfo target) 
throws TypeException 








if (!(target instanceof TypeInfo.FunctionType)) 
throw new TypeException("bad function", this); 
funcType - (TypeInfo.FunctionType)target; 
TypelInfo[] params = funcType.parameterTypes; 
if (size() !- params.length) 
throw new TypeException("bad number of arguments", this); 
argTypes = new TypeInfo[params.length]; 
int num = 0; 
for (ASTree a: this) { 
TypelInfo t = argTypes [num] = ((ASTreeTypeEx)a).typeCheck(tenv); 
t.assertSubtypeOf (params [num++], tenv, this); 





) 


return funcType.returnType; 


) 


GReviser public static class VarStmntEx2 extends TypedEvaluator.VarStmntEx { 
protected TypeInfo varType, valueType; 
public VarStmntEx2(List«ASTree» c) { super(c); ] 





public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
if (tenv.get(0, index) !- null) 
throw new TypeException("duplicate variable: " + name(), this); 
varType TypeInfo.get(type()); 





tenv.put(0, index, varType); 
valueType = ((ASTreeTypeEx)initializer()).typeCheck(tenv); 
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valueType.assertSubtypeOf (varType, tenv, this); 
return varType; 





EE TypeEnv.java 


package chap14; 
import java.util.Arrays; 
import stone.StoneException; 





public class TypeEnv { 
protected TypeEnv outer; 
protected TypeInfo[] types; 
public TypeEnv() ( this(8, null); } 
public TypeEnv(int size, TypeEnv out) ( 
outer - out; 
types - new TypeInfo[size]; 








) 


public TypeInfo get(int nest, int index) { 
if (nest -- 0) 
if (index « types.length) 
return types[index]; 
else 
return null; 
else if (outer -- null) 
return null; 
else 
return outer.get(nest - 1, index); 
} 
public TypeInfo put (int nest, int index, TypeInfo value) ( 
Typelnfo oldValue; 
if (nest == 0) ( 
access (index); 
oldValue = types[index]; 


types[index] = value; 

return oldValue; // may be null 
} 
else if (outer -- null) 

throw new StoneException("no outer type environment"); 
else 

return outer.put(nest - 1, index, value); 


) 


protected void access(int index) { 
if (index >= types.length) { 
int newLen - types.length * 2; 
if (index »- newLen) 





newLen = index + 1; 
types = Arrays.copyOf (types, newLen); 
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WREE] TypeException.java 





package chap14; 
import Sstone.ast.ASTree; 


public class TypeException extends Exception { 
public TypeException(String msg, ASTree t) ( 
super (msg + " " + t.location()); 
) 





MAENE Typelnto.java 





package chap14; 
import stone.ast.ASTree; 
import stone.ast.TypeTag; 


public class TypeInfo ( 
public static final TypeInfo ANY = new TypeInfo() { 

GOverride public String toString() ( return "Any"; } 

ps 


public static final TypeInfo INT = new TypeInfo() { 





GOverride public String toString() ( return "Int"; ] 
F; 
public static final TypeInfo STRING = new TypeInfo() { 

@Override public String toString() { return "String"; } 





J 


public TypeInfo type() { return this; } 

public boolean match(TypeInfo obj) { 
return type() == obj.type(); 

) 

public boolean subtypeOf (TypeInfo superType) { 
superType - superType.type(); 
return type() == superType || superType -- ANY; 





) 


public void assertSubtypeOf (TypeInfo type, TypeEnv env, ASTree where) 
throws TypeException 
{ 
if (!subtypeOf (type)) 
throw new TypeException("type mismatch: cannot convert from " 
+ this + " to " + type, where); 
} 
public TypeInfo union(TypeInfo right, TypeEnv tenv) { 
if (match(right)) 
return type(); 
else 
return ANY; 
} 
public TypeInfo plus(TypeInfo right, TypeEnv tenv) { 
if (INT.match(this) && INT.match(right)) 
return INT; 
else if (STRING.match(this) || STRING.match(right)) 
return STRING; 
else 
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return ANY; 


public static TypeInfo get(TypeTag tag) throws TypeException { 


) 


String tname - tag.type(); 

if (INT.toString().equals (tname)) 
return INT; 

else if (STRING.toString().equals (tname)) 
return STRING; 

else if (ANY.toString().equals (tname)) 
return ANY; 

else if (TypeTag.UNDEF.equals (tname)) 
return new UnknownType(); 

else 
throw new TypeException("unknown type " + tname, tag); 


public static FunctionType function(TypeInfo ret, TypeInfo... params) { 


) 


return new FunctionType (ret, params); 


public boolean isFunctionType() [ return false; } 
public FunctionType toFunctionType() ( return null; } 
public boolean isUnknownType() ( return false; } 


public UnknownType toUnknownType() { return null; } 
public static class UnknownType extends TypeInfo [ 


) 


GOverride public TypeInfo type() { return ANY; } 

GOverride public String toString() ( return type().toString(); ] 
GOverride public boolean isUnknownType() { return true; } 
GOverride public UnknownType toUnknownType() { return this; } 


public static class FunctionType extends TypeInfo ( 


public TypeInfo returnType; 

public TypeInfo [] parameterTypes; 

public FunctionType (TypeInfo ret, TypeInfo... params) { 
returnType - ret; 








parameterTypes - params; 
) 
GOverride public boolean isFunctionType() { return true; } 
GOverride public FunctionType toFunctionType() { return this; } 
GOverride public boolean match(TypeInfo obj) { 





if (!(obj instanceof FunctionType)) 
return false; 

FunctionType func - (FunctionType)obj; 

if (parameterTypes.length !- func.parameterTypes.length) 
return false; 

for (int i = 0; i < parameterTypes.length; i++) 


if (!parameterTypes[i].match(func.parameterTypes[il)) 
return false; 
return returnType.match(func.returnType); 
} 
GOverride public String toString() ( 
StringBuilder sb - new StringBuilder(); 


if (parameterTypes.length -- 0) 
sb.append ("Unit"); 
else 
for (int i = 0; i < parameterTypes.length; i++) { 
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if (i » 0) 
sb.append(" * "); 
Sb.append (parameterTypes[il); 
) 
Sb.append(" -> ").append(returnType); 
return sb.toString(); 





RD 运行 程序 时 执行 类 型 检查 


至 此 ，Stone 语言 处 理 器 已 经 能 够 支持 类 型 检查 ， 我 们 先 来 尝试 一 下 在 运行 程序 时 执行 类 
型 检查 。 代 码 清单 14.10 是 新 的 解释 带 。 它 与 之 前 的 解释 带 大 同 小 异 ， 唯 一 的 区 别 在 于 会 在 调 
用 eval 方法 执行 输入 的 程序 之 前 ， 通过 typeCheck 方法 对 数据 类 型 执行 检查 。 也 就 是 说 ,该 
解释 器 会 依次 对 输入 的 程序 调用 Lookup typeCcheck 与 eval 方法 。 此 外 ,在 最 终 显示 eval 方 
法 的 返回 值 时 ， 它 将 同时 显示 typeCheck 方法 的 返回 值 ， 即 eval 方法 返回 值 的 数据 类 型 。 

代码 清单 14.11 是 该 解释 器 的 启动 程序 。 它 应 用 了 TypeChecker 修改 器 (及 其 依赖 的 其 他 
修改 器 )。 为 了 对 整个 程序 执行 类 型 检查 ， 它 必须 知道 原生 函数 的 数据 类 型 信息 。 在 第 8 章 ( 第 
8 天 ) 已 经 说 明 过 ， 原生 函数 指 的 是 由 Java 语言 写成 的 函数 。 由 于 原生 函数 没有 以 Stone 语言 定 
义 ， 因 此 我 们 必须 事先 将 它们 的 定义 告诉 启动 程序 。 

在 问 环 境 添 加 原生 消 数 时 ， 我 们 还 要 疝 数 据 类 型 环境 添加 该 原生 水 数 的 数据 类 型 。 代 码 清单 
14.12 中 的 程序 能 实现 这 一 人 处理。 代码 清单 14.10 中 的 解释 器 没有 像 之 前 那样 使 用 第 8 章 代 码 清 
单 8.3 中 的 Natives 类 ,将 使 用 代码 清单 14.13 的 程序 。 代 码 清单 14.13 ~ 代码 清单 14.17 d 
增 的 原生 函数 。 与 之 前 不 同 ， 这 些 原生 函数 各 自 具 有 单独 的 类 ， 且 函数 本 身 都 被 命名 为 m。 这 是 
为 了 之 后 将 Stone 语言 的 程序 转换 为 Java 二 进 制 代 码 而 做 的 准备 。 















































































































































| pl 老师 ， 那 些 表 示 原 生 函数 的 类 的 名 称 都 与 原生 函数 的 名 称 一 样 呢 。 | 
回 不 过 这 些 类 名 都 是 以 小 写字 母 起 始 的 ， 没 有 遵循 Java 的 命名 习惯 。 
| B 这 些 都 是 为 了 方便 之 后 把 程序 转换 为 Java 代码 ， 别 太 在 意 。 | 


























上 述 代码 实现 了 新 的 语言 处 理 器 。 接 下 来 ,我 们 启动 解释 器 ， 试 着 执行 以 下 的 程序 。 


derr act (ar nt ne 
i£n»1í(ns*fact(n-1) )else(1] 


) 


fact 5 


执行 结果 如 下 所 示 。 


=> hact MT CE MATOS 
zu L20 g Te 
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第 1 行 定 义 了 函数 fact， 并 表明 它 是 一 个 接收 Inc 类 型 参数 ， 返 回 Inc 类 型 结果 的 函数 。 
第 2 行 以 5 为 参数 调用 了 fact， 得 到 一 个 Int 类 型 的 返回 值 120。 

































































í 圆 话说 回来 ， 我 们 一 直 在 讲 类 型 检查 ， 其 实 能 够 检查 的 就 只 有 静态 类 型 语言 对 吧 ? | 

B 动态 类 型 语言 不 支持 类 型 检查 ， 因 为 在 执行 之 前 我 们 无 法 知道 具体 的 数据 类 型 呀 。 

BH 嗯 ,动态 类 型 语言 只 是 不 支持 静态 类 型 检查 而 已 。 在 每 次 执行 计算 前 它 同 样 会 检查 操作 数 的 
数据 类 型 。 
回 例如 ， 在 Ruby 中 ， 如 果 要 对 字符 串 做 减法 运算 ， 就 会 发 生 运行 错误 。 这 就 好 比 在 执行 计算 
前 对 - 运算 符 两 侧 的 数据 类 型 做 了 检验 。 

B. BUT Ruby 的 减法 运算 通过 调用 相应 的 方法 实现 ， 因 此 实际 检查 的 是 左 侧 的 对 象 是 否 含 
有 用 于 减法 运算 的 方法 。 
[B 对 ， 你 说 的 没 错 。 
回 Java 也 会 在 强制 类 型 转换 或 数组 赋值 等 操作 时 执行 动态 数据 类 型 检查 。 

加 毕竟 静态 数据 类 型 检查 有 其 局 限 性 。 静 态 类 型 只 能 表示 某 个 表达 式 的 计算 结果 起 码 是 某 种 类 
型 而 已 。 
在 数组 赋值 操作 中 也 会 执行 类 型 检查 的 吗 ? 
D 咖 ， 举 个 例子 。 






























































































































































































































































String[] sa - new String[1]; 
Object[] oa = sa; ROK 


oa [0] new Integer(0); // error! 


变量 oa 指向 的 是 一 个 String 数组 ， 所 以 不 能 用 一 个 Integer 对 象 为 oa 的 元 素 赋值 。 
B 除了 动态 类 型 检查 ， 我 们 还 能 让 程序 在 第 2 行将 sa 赋值 给 oa 时 ， 通 过 静态 数据 类 型 检查 






















































































发 现 错误 。 不 过 Java 的 设计 者 没有 采用 这 种 设计 ， 因 此 数组 赋值 操作 必须 执行 动态 数据 类 
型 检查 。 























回 我 觉得 在 将 sa 赋值 给 oa 时 应 该 引发 静态 数据 类 型 错误 才 对 。 
B 这 可 不 大 好 ， 要 是 java.util.Arrays.sort (Object [] a) 不 能 接收 String 数组 作为 
参数， 使 用 起 来 会 很 不 方便 呢 。 | 









































ISCHIEJEND] Typedinterpreter.java 


package chap14; 

import stone.BasicParser; 
import stone.CodeDialog; 
import stone.Lexer; 
import stone.Token; 
import stone.TypedParser; 





import stone.ParseException; 
import stone.ast.ASTree; 
import stone.ast.NullStmnt; 
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import chapll.EnvOptimizer; 
import chapll.ResizableArrayEnv; 
import chap6.BasicEvaluator; 
import chap6.Environment; 


public class TypedInterpreter { 
public static void main(String[] args) throws ParseException, TypeException { 
TypeEnv te - new TypeEnv(); 
run(new TypedParser(), 
new TypedNatives (te).environment (new ResizableArrayEnv()), 
te); 





) 


public static void run(BasicParser bp, Environment env, TypeEnv typeEnv) 
throws ParseException, TypeException 


Lexer lexer - new Lexer(new CodeDialog()); 
while (lexer.peek(0) !- Token.EOF) { 
ASTree tree - bp.parse(lexer); 
if (!(tree instanceof NullStmnt)) { 
((EnvOptimizer.ASTreeOptEx)tree).lookup( 
((EnvOptimizer.EnvEx2)env).symbols()); 
TypeInfo type 
= ((TypeChecker.ASTreeTypeEx)tree).typeCheck (typeEnv); 
Object r = ((BasicEvaluator.ASTreeEx)tree).eval(env); 
System.out.println("-» " - p-p ": " « type); 


EEC TypedRunner.java 





package chap14; 
import javassist.gluonj.util.Loader; 
import chap8.NativeEvaluator; 


public class TypedRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(TypedInterpreter.class, args, TypeChecker.class, 
NativeEvaluator.class); 





EDEN TypedNatives.java 





package chap14; 

import chap6.Environment; 

import chap8.Natives; 

import chapll.EnvOptimizer.EnvEx2; 


public class TypedNatives extends Natives ( 
protected TypeEnv typeEnv; 
public TypedNatives(TypeEnv te) { typeEnv = te; } 
protected void append (Environment env, String name, Class<?> clazz, 


图 灵 社 区 会 员 leezom(superjavaman.zhangli( gmail.com) 专 享 尊重 版 权 





143 ”运行 程序 时 执行 类 型 检查 | 


String methodName, TypeInfo type, Class«?» ... params) 


append(env, name, clazz, methodName, params); 
int index = ((EnvEx2)env).symbols().find (name); 
typeEnv.put(0, index, type); 
} 
protected void appendNatives (Environment env) { 
append (env, "print", chapl4.java.print.class, "m", 
TypelInfo.function(TypeInfo.INT, TypeInfo.ANY), 
Object.class); 
append(env, "read", chapl4.java.read.class, "m", 
TypeInfo.function(TypeInfo.STRING)); 
append(env, "length", chapl4.java.length.class, "m", 











TypelInfo.function(TypeInfo.INT, TypeInfo.STRING), 
String.class); 

append (env, "toInt", chapl4.java.toInt.class, "m", 
TypelInfo.function(TypeInfo.INT, TypeInfo.ANY), 


Object.class); 
append (env, "currentTime", chapl4.java.currentTime.class, "m", 
TypeInfo.function(TypeInfo.INT)); 
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EEWEY curentTime.java 





package chapl4.java; 
import chapll.ArrayEnv; 


public class currentTime ( 
private static long startTime - System.currentTimeMillis(); 


public static int m(ArrayEnv env) { return m(); } 
public static int m() { 
return (int) (System.currentTimeMillis() - startTime); 





MAEAEA length.java 





package chapl4.java; 
import chapll.ArrayEnv; 


public class length { 
public static int m(ArrayEnv env, String s) { return m(s); } 
public static int m(String s) { return s.length(); } 





AENEAS printjava 





package chap1l4.java; 
import chapll.ArrayEnv; 


public class print { 


public static int m(ArrayEnv env, Object obj) ( return m(obj); } 
public static int m(Object obj) { 
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System.out.println(obj.toString()); 
return 0; 





MAEAEA readjava 


package chapl4.java; 
import chapll.ArrayEnv; 
import javax.swing.JOptionPane; 





public class read { 
public static String m(ArrayEnv env) ( return m(); } 
public static String m() { 
return JOptionPane.showInputDialog (null); 


) 





MAEAEA tointjava 


package chapl4.java; 
import chapll.ArrayEnv; 





public class toInt { 
public static int m(ArrayEnv env, Object value) { return m(value); } 
public static int m(Object value) { 
if (value instanceof String) 
return Integer.parseInt((String)value); 
else if (value instanceof Integer) 
return ((Integer)value).intValue(); 
else 
throw new NumberFormatException(value.toString()); 


IE E. 对 类 型 省 略 的 变量 进行 类 型 推论 

在 实现 了 类 型 检查 之 后 ， 接 下 来 我 们 将 设计 类 型 推论 功能 。 之 前 ， 如 果 没 有 明确 指定 变量 或 
参数 的 类 型 ， 我 们 将 默认 它们 是 Any 类 型 。 然 而 ，Any 类 型 的 值 无 法 进行 减法 与 乘法 计算 ， 非 
常 不 便 。 





















































( 回 还 有 一 种 做 法 是 ， 如 果 没有 指定 数据 类 型 ， 就 以 与 之 前 采用 动态 数据 类 型 的 Stone 语言 同样 | 
的 方式 处 理 ， 变 量 可 以 被 赋值 为 整数 、 字 符 串 或 其 他 任意 类 型 的 值 ， 并 能 参与 各 种 四 则 运算 。 
D] 老师 ， 这 样 的 话 ， 只 要 在 执行 四 则 运算 前 做 下 动态 类 型 检查 就 行 了 对 吧 ? 
回 咽 ， 浙 进 类 型 指派 (gradual typing ) 就 是 这 么 做 的 。 无 论 如 何 ， 静 态 数据 类 型 与 动态 数据 类 型 
| 将 来 都 会 进一步 融合 吧 。 ] 
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为 此 ， 如 果 没 有 明确 指定 数据 类 型 ， 我 们 就 需要 调查 该 变量 或 参数 的 使 用 方式 ， 推 测 恰当 的 
数据 类 型 。 这 就 是 类 型 推论 ( type inference )。 例 如 ， 如 果 某 个 变量 出 现在 减法 表达 式 的 左 侧 或 右 
则 ， 我 们 就 能 推测 出 它 是 一 个 Int 类 型 的 变量 。 之 后 ， 如 果 数 据 类 型 省 略 ， 我 们 将 暂时 把 它 记 
为 Unknown 类 型 ( 类 型 不 明 的 类 型 )， 并 通过 类 型 推论 确定 它 具 体 是 什么 类 型 。 







































































* 
(m 如 果 某 个 变量 出 现在 减法 表达 式 的 …… 真 绕 呀 ,直接 说 加 法 不 好 吗 ? j 
B 嗯 ， 但 是 加 法 也 可 能 是 用 于 字符 串 连 接 运算 哦 。 也 就 是 说 + 运算 符 的 两 侧 不 一 定 非 要 是 Int 

\ 类 型 的 值 。 | 


类 型 推论 算法 与 类 型 检查 算法 大 同 小 异 。 在 执行 类 型 检查 时 ， 语 言 处 理 需 常 需要 确认 - 运 
算 符 左右 两 侧 的 子 表 达 式 是 否 都 是 Int 类 型 ， 如 果 不 是 Int 类 型 就 会 发 生 类 型 错误 。 不 难 想象 ， 
为 了 避免 发 生 类 型 错误 ， 我 们 需要 将 Unknown 类 型 的 子 表达 式 视 为 Int 类 型 处 理 。 这 样 一 来 ， 
最 初 是 Unknown 类 型 的 值 将 随 着 类 型 检查 的 进行 ,逐渐 被 指定 为 具体 的 数据 类 型 。 
































































































































































































































/一 -— 
m 类 型 检查 与 类 型 推论 之 间 还 真是 有 着 干 丝 万 缕 的 联系 呢 。 | 
B 没 错 。 至 少 从 实现 上 来 看 ， 类 型 检查 与 类 型 推论 是 同步 进行 的 ， 类 型 推论 就 像 是 随 着 类 型 检 
\ 查 一 起 执行 似 的 。 J 





























对 于 上 面 的 减法 表达 式 ， 我 们 可 以 很 容易 地 推测 出 Unknown 具体 指 代 的 类 型 ， 但 是 有 时 ， 
要 确定 一 个 值 的 类 型 并 非 易 事 。 例 如 ， 在 下 面 的 赋值 表达 式 中 ， 变 量 x y 都 没有 被 指定 类 型 。 


X = Y 








这 时 ， 变 量 y 要 么 与 x 的 类 型 相同 ， 要么 是 x 类 型 的 子 类 。 然 而 ， 如 果 无 法 确定 具体 的 类 
型 ， 仅 赁 这 些 条 件 ， 我 们 无 法 推测 出 更 加 具体 的 结 

因此 ， 我 们 只 能 推迟 类 型 推论 处 理 ， 等 待 获取 进一步 的 信息 。 我 们 需要 暂时 记录 这 条 赋值 表 
达 式 中 包含 的 信息 ,通常 ， 这 些 信息 以 方程 式 的 形式 表现 。 首 先 ， 对 于 没有 明确 指定 且 尚 不 能 推 
测 出 数据 类 型 的 变量 与 参数 ， 我 们 将 以 t. ot, 等 变量 表示 。 于 是 ， 该 赋值 表达 式 包 含 的 信息 就 与 
下 面 的 式 子 等 价 。 


tj < 大 






































这 里 的 < 表示 子 类 关系 。 将 数据 类 型 信息 以 方程 式 的 形式 表现 之 后 ， 类 型 推论 的 适用 范围 
更 广 。 例 如 ， 如 果 在 执行 类 型 检查 时 遇 到 形 如 x - 1 的 表达 式 ， 我 们 可 以 通过 同样 的 思路 ， 用 
下 面 的 方程 式 表示 其 中 包含 的 类 型 条 件 。 


t; = Int 








R 






































减法 两 侧 必 须 都 是 Int KAWE EAA ENN y < Int， 又 由 于 Int 不 含 子 类 ， 
因此 可 知 t. t, 都 是 Int 类 型 的 值 。 
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不 难 发 现 ， 类 型 推论 的 本 质 其 实 就 是 连 立 含有 数据 类 型 条 件 的 方程 式 后 求解 。 该 连 立方 程式 
的 解 就 是 各 个 Unknown 类 型 变量 的 具体 数据 类 型 。 




















— 


[ m 方程 式 也 不 总 是 有 解 的 对 吧 ? 
D 如 果 没有 解 就 说 明 有 数据 类 型 错误 了 呀 。 也 就 是 说 ， 类 型 检查 失败 。 
| 四 那 含 有 多 个 解 的 情况 呢 ? 



























































ML 








有 些 方程 式 可 能 含有 多 个 解 ， 我 们 无 法 据 此 确定 某 个 变量 的 具体 类 型 。 方 便 起 见 ， 对 于 这 
种 情况 ，Stone 语言 将 把 变量 指定 为 Any 类 型 。 例 如， 下 面 的 函数 ia 将 在 接收 参数 x 后 直接 
返回 x 的 值 ， 我 们 设 参数 x 的 类 型 为 +.， 函 数 id 返回 值 的 类 型 为 ww， 并 连 立 方程 式 ， 解 得 


LX yero 

















deride d sw] 


满足 该 方程 式 的 t. t, 类 型 组 合 不 只 一 种 。 除 了 Any、Any 外 , Int, Int 及 Int, Any 也 都 符 
合 条 件 。 不 过 如 上 所 述 ，Stone 语言 将 把 Any、Any 作为 方程 式 的 最 终 解 。 





(a 老师 ， 不 增加 对 多 态 函 数 ( polymorphic function ) 的 支持 吗 ? À 

回 那样 的 话 ， 我 们 就 能 对 上 面 函 数 id 的 类 型 下 定义 了 。 即 ， 它 是 一 种 接收 o 类 型 的 参数 并 返 
回 o, 类 型 返回 值 的 函数 。 

o 类 型 ? 

O 是 类 型 变量 。 与 Java 中 泛 型 ( generics ) 的 类 型 变量 相同 。 

B 多 态 函 数 是 一 个 很 有 意思 的 概念 ， 不 过 它 的 类 型 检查 与 类 型 推论 比较 复杂 ， 这 里 就 不 具体 展 
Us J 

代码 清单 14.18 中 的 修改 顺 将 修改 与 类 型 推论 处 理 相 关 的 类 。 它 修改 了 TypeEnv 类 .TypeInfo 类 

及 其 子 类 UnknownType 类 。 在 此 之 前 ，TypeInfo 类 的 assertSubtypeot 方法 用 于 确认 两 种 
类 型 是 否 相 同 ， 或 是 否 具 有 子 类 关系 ， 如 果 不 符 合 则 抛 出 异常 。 修 改 后 ， 如 果 遇 到 Unknown% 
型 的 值 ， 该 方法 将 为 这 两 种 类 型 建立 方程 式 ， 并 添加 至 数据 类 型 环境 TypeEnv 对 象 中 。 新 增 
的 方程 式 本 应 可 以 表示 两 种 类 型 一 致 或 具有 子 类 关系 ， 不 过 简单 起 见 ， 这 里 添加 的 方程 式 仅 能 
表示 两 种 类 型 相同 。 例 如 ， 如 果 赋 值 表达 式 需 要 将 类 型 的 值 赋值 给 bb 类 型 的 变量 ,该 方法 将 
回 数据 类 型 环境 添加 方程 式 t1=t;， 而 非 ASh. MPE, union 方法 也 做 了 类 似 的 简化 。 


































































































































































































| B 唉 ， 也 就 是 说 ， 本 来 能 够 通过 类 型 推论 避免 类 型 错误 的 程序 ， 现 在 可 能 仍 会 发 生 类 型 错误 是 吗 ? | 
加 咽 ， 错 是 没 错 啦 ， 不 过 如 果 要 解 不 等 式 ， 程 序 就 会 变 得 很 复杂 了 。 














此 外 , 由 + 运算 符 构 成 的 双 目 运算 表达 式 的 类 型 指派 规则 也 需要 简化 。 按 照 之 前 的 类 型 指派 
规则 ， 如 果 运 算 符 左右 两 侧 都 是 Int 类 型 ， 整 个 双 目 运算 表达 式 也 是 Int 类 型 ， 除 此 之 外 , 无 
论 两 侧 的 值 是 什么 类 型 ， 双 目 运算 表达 式 的 类 型 都 需要 视 具 体 情 况 进 一 步 分 析 决 定 。 与 该 类 型 指 
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派 规 则 对 应 的 方程 式 非 常 复杂 ， 因 此 我 们 需要 简化 该 规则 。 如 果 无 法 确定 + 运算 符 左 右 两 侧 的 
数据 类 型 ， 我 们 将 始终 推测 它们 是 Int 类 型 。 





























( gi 还 真是 简化 了 很 多 啊 。 | 
H 4, 和 Standard ML 一 样 呢 。 
回 没关系 ， 如 果 遇 到 问题 ， 只 要 显 式 地 指定 数据 类 型 就 好 了 对 吧 ， 老 师 ? 
| Bl 或 者 也 可 以 像 0Caml 那样 ， 通 过 + 与 +. 等 不 同 的 运算 符 来 区 分 数据 类 型 。 | 






















































































要 最 终 完成 类 型 推论 的 实现 ， 除 了 代码 清单 14.18 中 提供 的 ， 我 们 还 需要 再 使 用 一 个 修改 
器 。 前 面 提 到 过 ， 对 于 函数 内 部 的 局 部 变量 或 参数 ， 如 果 仅 赁 函数 内 部 的 类 型 推论 ， 无 法 确 
定 Unknown 类 型 的 具体 结果 ，Stone 语言 将 默认 采用 Any 类 型 。 代 码 清单 14.19 中 的 修改 器 实 
现 了 这 一 逻辑 。 该 修改 器 覆盖 了 DefSstmnt 类 的 typeCheck 方法 ， 在 函数 体 的 类 型 检查 结 
时 ， 尚 且 无 法 确定 具体 数据 类 型 的 unknown 类 型 全 都 置 为 了 Any 类 型 。 

































































( pj 老师 ， 如 果 不 使 用 代码 清单 14.19 中 的 修改 器 ， 会 有 什么 问题 呢 ? ) 
Bn Ug, 比如 说 ， 我 们 来 看 一 下 下 面 这 段 代 码 。 


GE sigl(px) d ow jJ 
print id(3) 























print id("three") 


























ih, R% ia 本 应 接收 Any 类 型 的 参数 并 返回 Any 类 型 的 值 ， 但 从 第 2 行 起 ， 它 接收 的 是 
Int 类 型 的 值 ， 返 回 的 却 是 一 个 Any 类 型 的 值 。 
Hl 于 是 第 3 行 就 会 发 生 类 型 错误 了 对 吧 。 
H 咽 ， 函 数 类 型 会 中 途 改变 ， 还 真 奇怪 啊 。 
B 语言 处 理 器 在 第 2 行 调用 id 时 将 对 id (3 ) 执行 类 型 检查 ， 新 增 一 个 含有 id 的 参数 类 型 的 
方程 式 ， 并 推测 出 参数 是 一 个 Int 类 型 的 值 。 
\9 也 就 是 说 ， 如 果 没 有 代码 清单 14.19 中 的 修改 器 ， 就 会 一 直 不 停 地 做 类 型 推论 呢 。 J 
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代码 清单 14.20 是 解释 器 的 启动 程序 。 为 了 文 持 类 型 推论 功能 ， 它 在 运行 Stone 语言 解释 
器 前 将 首先 应 用 代码 清单 14.18 与 代码 清单 14.19 中 的 修改 器 。 代 码 清单 14.20 虽然 没有 显 式 
地 应 用 InferTypes 修改 器 ,但 应 用 了 InferFuncTypes 修改 器 。 由 于 InferFuncTypes 修 
改 器 通过 eRequire 隐 式 地 应 用 了 InferTypes 等 修改 器 ， 因 此 它们 都 会 被 一 起 应 用 于 新 的 解 
FEK o 
InferTypes.java 


package chap1l4; 

import java.util.ArrayList; 
import java.util.LinkedList; 
import java.util.List; 
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import stone.ast.ASTree; 
import javassist.gluonj.Reviser; 
import chapl14.TypeInfo.UnknownType; 


GReviser public class InferTypes { 
GReviser public static class TypeInfoEx extends TypeInfo { 
GOverride 
public void assertSubtypeOf(TypelInfo type, TypeEnv tenv, ASTree where) 
throws TypeException 


if (type.isUnknownType()) 
( (UnknownTypeEx) type.toUnknownType ()).assertSupertypeOf (this, 
tenv, where); 
else 
super.assertSubtypeOf (type, tenv, where); 
) 
GOverride public TypeInfo union(TypeInfo right, TypeEnv tenv) ( 
if (right.isUnknownType()) 
return right.union(this, tenv); 
else 
return super.union(right, tenv); 
) 
GOverride public TypeInfo plus(TypeInfo right, TypeEnv tenv) { 
if (right.isUnknownType ()) 
return right.plus(this, tenv); 
else 
return super.plus(right, tenv); 


) 


GReviser public static class UnknownTypeEx extends TypeInfo.UnknownType { 
protected TypeInfo type = null; 


public boolean resolved() ( return type !- null; } 
public void setType(TypeInfo t) ( type = t; } 
GOverride public TypeInfo type() { return type == null ? ANY : type; } 


GOverride public void assertSubtypeOf (TypeInfo t, TypeEnv tenv, 
ASTree where) throws TypeException 





if (resolved()) 
type.assertSubtypeOf(t, tenv, where); 
else 
((TypeEnvEx)tenv).addEquation(this, t); 
) 
public void assertSupertypeOf (TypeInfo t, TypeEnv tenv, ASTree where) 
throws TypeException 


if (resolved()) 

t.assertSubtypeOf (type, tenv, where); 
else 

((TypeEnvEx)tenv).addEquation(this, t); 


) 


GOverride public TypeInfo union(TypeInfo right, TypeEnv tenv) ( 
if (resolved()) 
return type.union(right, tenv); 
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else { 
((TypeEnvEx)tenv).addEquation(this, right); 
return right; 


) 


GOverride public TypeInfo plus(TypeInfo right, TypeEnv tenv) { 
if (resolved()) 
return type.plus(right, tenv); 
else { 
((TypeEnvEx)tenv).addEquation(this, INT); 
return right.plus(INT, tenv); 


) 


GReviser public static class TypeEnvEx extends TypeEnv ( 
public static class Equation extends ArrayList«UnknownType» () 
protected List«Equation» equations - new LinkedList«Equation»(); 


public void addEquation(UnknownType t1, TypeInfo t2) { 
// assert tl.unknown() == true 
if (t2.isUnknownType()) 
if (((UnknownTypeEx)t2.toUnknownType ()).resolved()) 





t2 - t2.type(); 
Equation eq - find(t1); 
if (t2.isUnknownType()) 
eq.add(t2.toUnknownType ()) ; 
else ( 
for (UnknownType t: eq) 
( (UnknownTypeEx)t).setType(t2); 
equations.remove (eq); 





) 


protected Equation find(UnknownType t) { 
for (Equation e: equations) 
if (e.contains(t)) 

return e; 
Equation e - new Equation(); 
e.add(t); 
equations.add(e); 
return e; 





MALAMLA] InferFuncTypes.java 





package chapl14; 

import java.util.List; 

import chapl14.TypeInfo.FunctionType; 
import chapl14.TypeInfo.UnknownType; 
import chapl4.InferTypes.UnknownTypeEx; 
import stone.ast.ASTree; 

import javassist.gluonj.Require; 








import javassist.gluonj.Reviser; 
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GRequire((TypeChecker.class, InferTypes.class]) 
GReviser public class InferFuncTypes { 
GReviser public static class DefStmntEx3 extends TypeChecker.DefStmntEx2 { 
public DefStmntEx3 (List<ASTree> c) ( super(c); } 
GOverride public TypeInfo typeCheck(TypeEnv tenv) throws TypeException { 
FunctionType func = super.typeCheck(tenv).toFunctionType(); 
for (TypeInfo t: func.parameterTypes) 
fixUnknown(t); 
fixUnknown(func.returnType); 





return func; 


) 


protected void fixUnknown(TypeInfo t) { 





if (t.isUnknownType 0) { 
UnknownType ut - t.toUnknownType(); 
if (1!((UnknownTypeEx)ut).resolved()) 


( (UnknownTypeEx)ut).setType (TypeInfo.ANY); 





M AEREA InferRunner.java 


package chap1l4; 
import javassist.gluonj.util.Loader; 
import chap8.NativeEvaluator; 


public class InferRunner { 
public static void main(String[] args) throws Throwable { 
Loader . run (TypedInterpreter.class, args, InferFuncTypes.class, 
NativeEvaluator.class); 





14.5 Java 二进制 代码 转换 


获得 了 静态 数据 类 型 信息 之 后 ， 我 们 终于 可 以 考虑 如 何 将 抽象 语法 树 转换 成 Java. 二 进 制 代 
码 了 。Java 二 进 制 代码 是 Java 虚拟 机 使 用 的 机 融 语 言 。 如 果 直 接 从 正面 人 手 ， 我 们 可 以 像 上 一 
章 讲 的 那样 通过 compile 方法 实现 。 不 过 ,本 章 将 利用 现 有 的 库 ， 用 一 种 不 同 的 方式 实现 Java 
二 进 制 代码 的 转换 。 

为 了 对 Java 二 进 制 代码 进行 操作 ， 本 章 采 用 了 一 种 名 为 Javassist 的 库 。 该 库 能 够 在 程序 执 
行 过 程 中 创建 并 载 入 新 的 类 ， 并 调用 其 中 的 方法 。 由 于 新 增 方法 的 定义 能 以 Java 源 代码 的 形式 
传递 给 Javassist， 因此 我 们 无 在 程序 中 生成 Java 二 进 制 代码 ， 非 常 方便 。Javassist 能 自动 编译 
接收 的 源 代码 ， 并 将 其 转换 为 二 进 制 代码 。 

代码 清单 14.21 中 的 程序 能 够 通过 Javassist 来 定义 新 的 方法 。JavaLoader 类 的 load J 
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法 将 在 接收 类 名 与 方法 的 定义 后 ， 对 方法 进行 定义 ， 并 生成 二 进 制 代 码 ， 最 后 载 人 Java 虚拟 
Bl. Load 方法 的 返回 值 是 该 类 的 Class 对 象 。 只 要 有 了 class XZ, 我 们 就 能 利用 第 8 章 介 绍 
的 Java 中 的 反射 机 制 来 执行 新 定义 的 方法 。 











| 图 每 一 个 方法 都 需要 定义 一 个 新 的 类 吗 ? | 
D 没 错 ， 毕 竟 对 Java 来 说 ， 一 个 类 一 旦 被 载 入 虚拟 机 ， 就 无 法 再 添加 新 的 方法 了 。 因 此 如 果 我 们 
| 用 Stone 语言 定义 了 新 的 函数 ， 就 不 得 不 新 定义 一 个 Java 的 类 。 | 


— — 

































































JavaLoader 类 中 使 用 的 C1assPool 对 象 由 Javassist 提供 ， 用 于 管理 类 名 与 二 进 制 代码 (类 
文件 ) 的 对 应 关系 。 它 会 同时 管理 类 的 路 径 ， 而 且 在 必要 时 能 够 从 文件 系统 中 取得 类 文件 ， 读 取 二 
进 制 代 码 。 

我 们 可 以 通过 调用 ClassPool 对 象 的 makeClass 方法 , 在 JavaLoader 类 中 定义 新 的 类 。 
该 方法 将 创建 一 个 没有 任何 类 与 字段 的 空 类 。 该 方法 的 返回 值 是 一 个 ctclass 对 象 ， 用 于 表示 
Javassist 中 的 类 。 这 里 的 ctclass 是 compile-time 类 的 简称 。 该 对 象 与 java.lang.class 有 些 相 
像 ， 且 提供 了 一 些 类 似 的 方法 。 我 们 可 以 通过 addMethod 方法 向 Ctclass 对 象 添加 希望 定义 的 
方法 。 在 调用 toclass 之 后 , 该 Ctclass 对 象 将 被 转换 为 二 进 制 代 码 并 载 人 虚拟 机 ， 以 获取 与 
之 对 应 的 Class 对象。addMethoad 方法 需要 接收 一 个 string 对 象 ， 作 为 方法 的 定义 。 


MALREALA JavaLoaderjava 


package chapl14; 

import stone.StoneException; 

import javassist.CannotCompileException; 
import javassist.ClassPool; 

import javassist.CtClass; 

import javassist.CtMethod; 














public class JavaLoader { 
protected ClassLoader loader; 
protected ClassPool cpool; 
public JavaLoader() { 
cpool - new ClassPool (null); 
cpool.appendSystemPath(); 
loader = new ClassLoader(this.getClass().getClassLoader()) {}; 
) 
public Class«?» load(String className, String method) { 
// System.out.println (method); 
CtClass cc = cpool.makeClass (className); 
try { 
cc.addMethod (CtMethod.make (method, cc)); 
return cc.toClass(loader, null); 
) catch (CannotCompileException e) { 
throw new StoneException(e.getMessage()); 


) 
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| 回 ctclass 是 compile-time 的 简称 呀 ? 其 实 应 该 算是 Load-time， 叫 LtClass 不 是 更 好 嘛 ? ) 
B 的 确 ， 我 现在 也 觉得 Lt 更 好 。 
园 还 有 就 是 ， 为 什么 toclass 要 接收 一 个 类 载 入 器 呢 ? 
回 你 是 说 ClassLoader 对 象 对 吧 ? 每 个 JavaLoader 对 象 都 有 专门 的 类 载 入 器 ， 它 们 用 于 载 
入 新 定义 的 类 。 
O 如 果 埠 换 成 JavaLoader， 就 能 载 入 具有 相同 名 称 的 类 了 。 在 Java 中 ， 对 于 两 个 名 称 相同 
| ”但 定义 不 同 的 类 ， 只 要 它们 的 类 载 入 器 不 同 ， 就 能 同时 在 程序 中 使 用 。 | 


出 于 与 上 一 章 相 同 的 理由 ,我们 将 仅 对 抽象 语法 树 中 的 函数 部 分 进行 Java 二 进 制 代码 转 
换 。 非 函数 调用 部 分 将 照常 通过 eval 方法 执行 。 函 数 调用 表达 式 由 Arguments 类 表示 ， 该 类 
的 eval 方法 用 于 执行 已 转换 为 Java 二 进 制 代码 的 函数 。 

代码 清单 14.22 中 JavaFunction 类 的 对 象 用 于 表示 函数 。 该 类 的 对 象 能 够 保存 已 被 转换 
为 Java 二 进 制 代码 的 Stone 语言 函数 信息 ， 并 同时 在 环境 中 记录 这 些 信 息 及 对 应 的 函数 名 称 。 由 
于 函数 调用 之 外 的 代码 仍 将 由 eval 方法 执行 ， 因 此 本 章 依然 需要 使 用 用 于 记录 全 局 变量 与 函数 
的 环境 。 这 些 环境 将 以 第 11 童 介 绍 的 方式 实现 ,语言 处 理 絮 在 执行 过 程 中 将 通过 编号 而 非 名 称 
来 查找 信息 。 另 一 方面 ， 函 数 体 已 被 转换 为 Java 二 进 制 代 码 ， 因 此 语言 处 理 右 将 借助 Java 语言 
的 参数 与 局 部 变量 来 记录 函数 参数 及 局 部 变量 的 值 。 这 些 值 将 不 会 被 记录 至 环境 中 。 


EE JavaFunction.java 


package chap14; 
import stone.StoneException; 






















































































































































































import chap7.Function; 


public class JavaFunction extends Function ( 
protected String className; 
protected Class«?» clazz; 
public JavaFunction(String name, String method, JavaLoader loader) { 
super (null, null, null); 
className - className (name); 
clazz - loader.load(className, method); 
} 
public static String className(String name) { 
return "chapl4.java." - name; 
} 
public Object invoke (Object [] args) ( 
try { 
return clazz.getDeclaredMethods() [0] . invoke (null, args); 
} catch (Exception e) { 
throw new StoneException (e.getMessage()); 


) 





图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) *zzz 尊重 版 权 














145 Java 二 进 制 代码 转换 | 217 












































( D 所 以 说 ， 最 后 该 怎样 把 抽象 语法 树 转换 为 Java 二 进 制 代码 呢 ? | 

















由 于 本 章 使 用 了 Javassist， 因 此 与 其 说 是 将 抽象 语法 树 转换 为 Java 二 进 制 代 码 ， 不 如 说 是 将 
它 转换 为 Java 源 代 码 。 例 如 ， 假 设 我 们 定义 了 这 样 一 个 Stone it ri RZ facto 
def fact(n) ( 


xis sa oc 22 oW 3b JP ugue qo sm 9 3s c 3D) j 


) 





该 函数 将 被 转换 为 名 为 chap14 .java.fact 的 类 中 的 一 个 static 方法 ， 如 下 所 示 。 


public static int m(chapll.ArrayEnv nn 


igue ele 
i£ ((w9 «291s8) t= 0 4 
res s Ir 
) eise ( 
res = (v0 * chapl4.java.fact.m(env, (vO - 1))); 


) 


recurn res; 


chap14.java.fact 类 仪 包含 一 个 方法 m。m 这 个 方法 名 并 没有 什么 特殊 含义 。 该 方法 的 
第 一 个 参数 env 是 一 个 用 于 引用 全 局 变量 的 环境 ， 不 过 在 该 例 中 ，fact 函数 不 需要 使 用 这 个 环 
境 。m 方 法 的 第 二 个 参数 vo 是 fact 函数 的 参数 。 在 转换 为 Java 语言 的 方法 后 ，if 语句 有 一 条 
稍 显 宛 长 的 条 件 表达 式 。 该 表达 式 由 fact 函数 的 定义 直接 翻译 ， 几 乎 没有 改动 。 





























f 加 如 果 想 知道 函数 被 转换 成 了 怎样 的 Java 语言 方法 ， 只 要 在 代码 清单 14.21 中 JavaLoader | 
类 的 load 方法 的 前 部 输出 参数 method 的 值 就 能 看 到 了 。 
| Hd 哦 ， 原 来 如 此 ， 这 部 分 现在 被 注释 掉 了 呢 。 J 






























































代码 清单 1423 中 的 修改 右 用 于 将 函数 转换 为 Java Z xt] (X f. M D as ole Jn Ab T 
ranslateExpr  returnZero 是 两 个 辅助 方法 , 需 由 其 他 方法 调用 。EnvEx3 与 ArrayEnvEx 
修改 器 将 回环 境 中 添加 新 的 字段 ， 并 通过 它们 保存 JavaLoader 对 象 。 此 外 ， 相 应 的 访问 器 方 
法 也 将 被 添加 ， 用 于 获取 这 些 对 象 。 

其 他 的 修改 需 将 分 别 修改 抽象 语法 树 的 相应 节点 ， 为 它们 添加 ttzans1late 方 法 。 该 方 
法 将 在 被 调用 后 以 调用 了 它 的 对 象 为 根 节 点 遍历 子 树 ， 并 在 生成 与 该 子 树 对 应 的 源 代码 后 返 
ll, 与 eval FEK compile 方法 相同 ,该 方法 也 会 通过 递归 调用 的 形式 实现 语法 树 节点 
的 遍历 。 

在 Java 语 言 的 转换 过 程 中 ，Stone 语言 的 Int、String 与 Any 类 型 分 别 对 应 Java 中 
HJ int, String 5 Object 类 型 。 由 于 Stone 语言 的 语法 与 Java 较为 相近 , 所 以 转换 逻辑 并 不 
复杂 ， 只 需 为 每 个 变量 添加 静态 数据 类 型 即 可 。 不 过 ，Javassist 内 置 的 编译 咒 不 支持 Java5 引入 
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的 autoboxing 功能 ， 因 此 我 们 必须 显 式 地 执行 该 处 理 。 该 处 理由 translateExpr 方法 实现 。 
例如 ,假设 有 下 面 的 表达 式 。 








其 中 变量 x 为 Any 类 型 ,变量 i 为 Int 类 型 。 将 其 转换 为 Java 语言 后 ， 它 们 将 分 别 
是 Object 与 int 类 型 的 值 ， 于 是 ， 该 表达 式 将 把 一 个 int 类 型 的 值 赋值 给 一 个 Object 类 型 
的 变量 。 对 于 下 面 的 表达 式 ， 如 果 语 言 处 理 需 文 持 autoboxing 功能 ， 转 换 得 到 的 Java 语言 表达 
式 就 能 直接 运行 。 如 果 不 支 持 ， 由 于 = 左右 两 侧 类 型 不 同 ,语言 处 理 器 将 发 生 数 据 类 型 错误 。 





























为 此 ， 我 们 必须 像 下 面 这 样 ， 在 代码 中 显 式 地 执行 数据 类 型 转换 。 


x = new Integer(i + 3) 





此 外 ， 为 了 执行 显 式 的 类 型 转换 ， 除 了 变量 与 参数 ,语言 处 理 器 还 需要 知道 子 表达 式 的 静态 
数据 类 型 。 因 此 ， 我 们 需要 在 执行 类 型 检查 的 同时 ， 为 抽象 语法 树 的 节点 对 象 添加 相关 字段 ， 以 
保存 已 知 的 子 表 达 式 类 型 。Java 语言 的 转换 处 理 将 根据 需要 使 用 这 些 信息 。 

一 个 变量 名 不 但 可 以 指向 局 部 变量 ， 还 可 以 指 癌 全 局 变量 或 函数 。 我 们 必须 根据 情况 将 它们 
转换 为 相应 的 Java 语言 代码 。 由 NameEx3 修改 器 向 Name 类 添加 的 translate 方法 能 够 实现 
这 一 功能 。 如 果 变 量 名 指向 的 是 局 部 变量 或 参数 ， 它 们 将 被 转换 为 形 如 vo、v1 的 名 称 。v 之 后 
数字 代表 变量 在 环境 中 的 保存 位 置 的 编号 。 该 编号 能 够 通过 index 字段 获取 。 

[ 





















































Uk, SRBROCTGEGÉITZRBSCHUN, DRífrBuEUi S EtA? 好 乱 啊 。 j 
B 环境 确实 不 是 通过 数组 实现 的 …… 

B 我 记得 用 于 记录 全 局 变量 的 环境 的 确 是 由 数组 实现 的 呀 。 

B 虽然 函数 中 的 环境 不 是 由 数组 实现 的 ， 不 过 我 们 还 是 会 通过 编号 来 管理 局 部 变量 ， 而 不 使 用 
| 它们 的 名 称 。 编 号 的 分 配 由 第 11 章 介绍 的 修改 器 完成 ， 这 种 实现 较为 简单 J 


男 一 方面 ， 全 局 变量 的 变量 名 在 转换 后 将 引用 作为 参数 传递 的 环境 env。 由 于 数据 类 型 的 转 
换 较 为 麻烦 ， 因 此 实际 的 处 理 将 交 由 代码 清单 14.24 中 Runt ime 类 的 相应 方法 实现 ， 这 里 的 代 
码 仅 需 调 用 该 方法 即 可 。 对 于 函数 名 称 ， 它 们 将 在 函数 转换 为 Java 二 进 制 代码 后 ， 被 同时 转换 
为 对 应 的 static 方法 的 名 称 ， 如 下 所 示 。 


chapl4.java.fact.m 






















































































































































































lm 





























HoP, chap14.java 是 包 名 , m 是 方法 名 。 类 名 则 与 原来 的 函数 名 相同 。 

在 转换 过 程 中 ,我 们 还 需要 对 比较 运算 符 多 加 注意 。Stone 语言 与 Java 的 运行 机 制 稍 有 
不 同 。Stone 语言 的 == 运算 符 能 同时 对 整数 与 字符 串 进行 比较 ,但 在 Java 中 ,字符 串 比 较 必 
须 通 过 调用 equals 方法 实现 。 此 外 , 在 Stone 语言 中 ， 所 有 种 类 的 比较 结果 都 是 Int 类 型 
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HJ o zX 1, fH Java 则 通过 poolean 值 表示 结果 。 因 此 , 我 们 在 转换 中 使 用 了 下 面 这 样 的 三 目 运 
算 表 达 式 。 


wA a a g al g o) 














类 似 地 ，+ 运算 符 的 计算 结果 如 果 是 Any 类 型 ， 转 换 逻 辑 也 会 相对 复杂 些 。 这 两 种 运算 符 
的 计算 由 代码 清单 14.24 中 Runtime 类 的 eq 5j plus 方法 实现 , 语言 处 理 带 将 调用 相应 的 代码 
进行 实际 的 处 理 。 详 细 信息 请 读者 参见 代码 清单 14.23 中 的 BinaryEx2 修改 器 。 




































































要 分 别处 理 这 些 细节 差异 还 真 不 容易 啊 。 从 一 开始 就 以 Java 为 标准 来 设计 Stone 语言 不 
好 嘛 。 











我 们 还 要 小 心 处 理 代码 块 与 if£ 语句 的 转换 。 在 Stone 语言 中 ， 代 码 块 内 最 后 一 条 语句 (或 
表达 式 ) 的 计算 结果 将 被 作为 整个 代码 块 的 结果 。 但 Java 语言 并 非 如 此 , 它 需 要 通过 return 语 
句 来 确定 返回 结果 。 此 外 ， 虽 然 下 面 的 表达 式 在 Stone 语言 中 合法 ， 但 它 既 没有 执行 赋值 操作 ， 
也 没有 进行 方法 调用 ， 因 此 无 法 作为 独立 的 语句 在 Java 语言 中 使 用 。 


> I 














为 此 ， 我 们 为 整个 函数 准备 了 一 个 名 为 res 的 局 部 变量 ， 并 将 可 能 作为 代码 块 最 后 一 条 
语句 的 结果 的 值 ， 即 函数 的 返回 值 ， 保 存在 这 一 res 变量 中 。 事 实 上 , translate 方 法 的 
参数 表示 的 是 当前 正在 转换 的 Stone 语言 函数 的 返回 值 类 型 。 如 果 该 参数 为 nul1l1， 就 意味 着 
(调用 了 translate 方 法 的 ) 语句 或 代码 块 的 计算 结果 不 是 函数 的 返回 值 ， 而 不 必 保 存在 变 
量 res 中 。 

在 本 章 中 ,我 们 禁止 在 Stone 语言 的 代码 块 内 单独 使 用 形 如 x+1 这 样 的 既 非 赋值 也 没有 调用 
行 数 的 表达 式 语句 ， 除 非 它 位 于 代码 块 的 最 后 。BlockEx2 修改 融 的 translateStmnt 方法 将 
对 此 进行 检查 ， 如 发 现 违例 ， 则 会 抛 出 异常 。 

















































































































(a 这 还 真是 偷懒 ， 完 全 是 怎么 方便 怎么 改 嘛 。 这 样 一 来 ，Stone 语言 的 语法 兼容 性 就 会 很 差 了 吧 。 | 
B 在 这 种 地 方 花 太 多 心思 也 没 用 啊 。 其 实 我 在 其 他 一 些 地 方 也 做 了 简化 处 理 ， 比 如 ， 函 数 无 法 
重新 定义 。 如 果 要 支持 这 个 功能 ，Java 语言 转换 就 会 变 得 很 复杂 了 。 
回 哦 ， 所 以 前 面 才 提 到 Stone 语言 不 支持 相互 递归 对 吧 ? 
B 知道 了 这 些 后 ， 我 真是 体会 到 了 实用 程序 设计 语言 设计 者 们 的 辛苦 呢 。 他 们 就 不 能 那么 简单 
A 地 放弃 兼容 性 了 。 | 
















































































代码 清单 14.23 FENA m | DefStmnt %5 Arguments 类 中 的 eval 方法 ,改变 了 
函数 定义 与 国 数 调用 的 执行 逻辑 。 在 定义 函数 时 ， 语 言 处 理 顺 将 首先 调用 DefStmnt 类 中 修改 
过 的 eval 方法 。 该 方法 会 调用 translate 方法 ,将 函数 体 转换 为 Java 语言 的 方法 ， 并 创建 一 
个 JavaFunction 对 象 。 该 对 象 用 于 表示 函数 ， 它 将 与 函数 名 一 起 被 保存 至 环境 中 。 
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另 一 方面 ， 在 调用 最 外 层 函 数 时 ， 话 言 处理 需 将 调用 Arguments 类 中 修改 过 的 eval 方 
法 。 它 将 计算 实 参 的 值 ， 并 调用 JavaFunction 对 象 的 invoke 方法 ， 执 行 已 被 转换 为 Java 二 
进 制 代码 的 函数 。 


MEER ToJava.java 


package chap14; 

import java.util.ArrayList; 

import java.util.List; 

import chapll.ArrayEnv; 

import chapll.EnvOptimizer; 
t 











import chap6.Environment; 
import chap7.FuncEvaluator; 
import stone.StoneException; 


import stone.Token; 
import stone.ast.*; 
import javassist.gluonj.Require; 
import javassist.gluonj.Reviser; 





import static javassist.gluonj.GluonJ.revise; 


GRequire (TypeChecker.class) 
GReviser public class ToJava { 
public static final String METHOD - "m"; 
public static final String LOCAL - "v"; 
public static final String ENV - "env"; 
public static final String RESULT - "res"; 
public static final String ENV TYPE - "chapll.ArrayEnv"; 





public static String translateExpr(ASTree ast, TypeInfo from, TypeInfo to) { 
return translateExpr(((ASTreeEx)ast).translate(null), from, to); 
public static String translateExpr(String expr, TypeInfo from, 
TypelInfo to) 


from - from.type(); 
to - to.type(); 


if (from == TypeInfo.INT) { 
if (to == TypeInfo.ANY) 
return "new Integer(" + expr + ")"; 
else if (to == TypelInfo.STRING) 


return "Integer.toString(" + expr + ")"; 
) 
else if (from -- TypeInfo.ANY) 
if (to == TypeInfo.STRING) 
return expr + ".toString()"; 
else if (to -- TypeInfo.INT) 
return "((Integer)" + expr + ").intValue()"; 
return expr; 
) 
public static String returnZero(TypeInfo to) { 
if (to.type() == TypeInfo.ANY) 
return RESULT + "-new Integer(0);"; 
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else 
return RESULT + "-z0;"; 


GReviser public static interface EnvEx3 extends EnvOptimizer.EnvEx2 { 


JavaLoader javaLoader(); 


) 


GReviser public static class ArrayEnvEx extends ArrayEnv { 


public ArrayEnvEx(int size, Environment out) ( super (size, out); } 
protected JavaLoader jloader = new JavaLoader(); 
public JavaLoader javaLoader() { return jloader; } 


) 


GReviser public static abstract class ASTreeEx extends ASTree ( 
public String translate(TypeInfo result) { return ""; } 
) 
GReviser public static class NumberEx extends NumberLiteral ( 
public NumberEx(Token t) { super(t); } 
public String translate(TypeInfo result) { 
return Integer.toString(value()); 


) 


GReviser public static class StringEx extends StringLiteral [ 
public StringEx(Token t) ( super(t); ] 
public String translate(TypeInfo result) [ 
StringBuilder code - new StringBuilder(); 
String literal - value(); 
code.append('"'); 


for (int i = 0; i < literal.length(); i++) { 
char c = literal.charAt(i); 
if (g ss rrr) 
code.append("NNN"") ; 
else if (c == '\\') 
code . append ("NNNN") ; 
else if (c == '\n') 


code .append ("\\n"); 
else 
code .append (c); 
} 
code.append('"'); 
return code.toString(); 


) 


GReviser public static class NameEx3 extends TypeChecker.NameEx2 { 
public NameEx3 (Token t) ( super(t); } 
public String translate(TypeInfo result) { 
if (type.isFunctionType()) 
return JavaFunction.className(name()) + "." + METHOD; 
else if (nest == 0) 
return LOCAL + index; 
else ( 
String expr = ENV + ".get(0," + index + ")"; 
return translateExpr (expr, TypeInfo.ANY, type); 
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) 


public String translateAssign(TypeInfo valueType, ASTree right) { 


if (nest == 0) 
return "(" + LOCAL + index + "-" 
+ translateExpr(right, valueType, type) + ")"; 
else ( 
String value - ((ASTreeEx)right).translate (null); 
return "chapl4.Runtime.write" + type.toString() 


+ "(" + ENV + "," + index + "," + value + ")"; 


) 


GReviser public static class NegativeEx extends NegativeExpr { 
public NegativeEx(List«ASTree» c) { super(c); } 
public String translate(TypeInfo result) ( 
return "-" + ((ASTreeEx)operand()).translate (null); 


) 


GReviser public static class BinaryEx2 extends TypeChecker.BinaryEx { 
public BinaryEx2(List«ASTree» c) ( super(c); } 
public String translate(TypeInfo result) ( 





String op - operator(); 


if ("=".equals (op)) 

return ((NameEx3)left()).translateAssign(rightType, right()); 
else if (leftType.type() != TypeInfo.INT 

|| rightType.type() != TypeInfo.INT) { 

String el - translateExpr(left(), leftType, TypeInfo.ANY); 

String e2 = translateExpr(right(), rightType, TypeInfo.ANY); 

if ("==".equals (op)) 

return "chapl4.Runtime.eq(" + el + "," + e2 + ")"; 


else if ("«".equals(op)) { 
if (leftType.type() == TypeInfo.STRING 
|| rightType.type() == TypeInfo.STRING) 
return el + "+" + e2; 
else 
return "chapl4.Runtime.plus(" + el + "," + e2 + ")"; 
} 
else 
throw new StoneException ("bad operator", this); 


) 


else ( 
String expr = ((ASTreeEx)left()).translate(null) + op 
+ ((ASTreeEx)right()).translate (null); 
if ("«".equals(op) || "»".equals(op) || "==".equals (op)) 
return "(" + expr + "?1:0)"; 
else 
return "(" + expr + ")"; 


) 


GReviser public static class BlockEx2 extends TypeChecker.BlockEx { 
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public BlockEx2 (List<ASTree> c) { super(c); } 
public String translate(TypeInfo result) { 
ArrayList«ASTree» body = new ArrayList«ASTree»(); 
for (ASTree t: this) 
if (!(t instanceof NullStmnt)) 
body.add(t); 
StringBuilder code - new StringBuilder(); 
if (result !- null && body.size() « 1) 
code.append(returnZero(result)); 
else 
for (inti = 0; i < body.size(); i++) 
translateStmnt (code, body.get(i), result, 
i == body.size() - 1); 
return code.toString(); 
} 
protected void translateStmnt (StringBuilder code, ASTree tree, 
TypeInfo result, boolean last) 


if (isControlStmnt (tree)) 
code.append(((ASTreeEx)tree).translate(last ? result : null)); 
else 
if (last && result !- null) 
code.append (RESULT) .append('=') 
.append (translateExpr (tree, type, result)).append(";\n"); 
else if (isExprStmnt (tree)) 
code.append(((ASTreeEx)tree).translate (null)).append("; Wn"); 
else 
throw new StoneException("bad expression statement", this); 
} 
protected static boolean isExprStmnt(ASTree tree) { 
if (tree instanceof BinaryExpr) 
return "-".equals(((BinaryExpr)tree).operator()); 
return tree instanceof PrimaryExpr || tree instanceof VarStmnt; 
} 
protected static boolean isControlStmnt (ASTree tree) { 
return tree instanceof BlockStmnt || tree instanceof IfStmnt 
|| tree instanceof WhileStmnt; 


) 


GReviser public static class IfEx extends IfStmnt { 
public IfEx(List«ASTree» c) ( super(c); ] 
public String translate(TypeInfo result) { 

StringBuilder code - new StringBuilder(); 
code.append("if("); 





code.append(((ASTreeEx)condition()).translate (null)); 
code.append("!20) ((n") ; 
code.append(((ASTreeEx)thenBlock()).translate (result)); 


code.append(")] else {\n"); 
ASTree elseBk - elseBlock(); 


if (elseBk !- null) 
code.append(((ASTreeEx)elseBk).translate(result)); 
else if (result !- null) 
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code .append (returnZero (result)); 
return code.append(")WM").toString(); 
) 
) 


GReviser public static class WhileEx extends WhileStmnt { 
public WhileEx(List«ASTree» c) { super(c); } 
public String translate(TypeInfo result) ( 


String code = "while(" + ((ASTreeEx)condition()).translate (null) 
+ "!=0) {\n" + ((ASTreeEx)body ()) . translate (result) 
+ "jn"; 

if (result -- null) 


return code; 
else 
return returnZero(result) + "Wn" + code; 


} 
} 


GReviser public static class DefStmntEx3 extends TypeChecker.DefStmntEx2 { 
public DefStmntEx3 (List<ASTree> c) ( super(c); } 
GOverride public Object eval(Environment env) { 
String funcName - name(); 
JavaFunction func = new JavaFunction(funcName, translate (null), 
( (EnvEx3)env).javaLoader()); 
((EnvEx3)env).putNew(funcName, func); 
return funcName; 
) 
public String translate(TypeInfo result) ( 
StringBuilder code - new StringBuilder("public static "); 
TypeInfo returnType = funcType.returnType; 
code.append(javaType (returnType)).append(' '); 


code . append (METHOD).append("(chapll.ArrayEnv ").append(ENV); 
for (int i = 0; i < funcType.parameterTypes.length; i++) { 
code.append(',').append(javaType (funcType.parameterTypes[il)) 
.append(' ').append(LOCAL).append(i); 


) 


code.append(") {\n"); 
code.append(javaType (returnType)).append(' ').append (RESULT) 
.append("; Nn"); 
for (int i = funcType.parameterTypes.length; i < size; i++) { 
TypelInfo t = bodyEnv.get(0, i); 
code.append(javaType(t)).append(' ').append(LOCAL).append(i); 
if (t.type() == TypeInfo.INT) 
code.append("20; Mn") ; 
else 
code.append("-null; Mn"); 








) 


code.append( ( (ASTreeEx) revise (body())).translate(returnType)); 
code.append("return ").append(RESULT).append(";]"); 
return code.toString(); 


) 


protected String javaType (TypeInfo t) { 


if (t.type() == TypeInfo.INT) 
return "int"; 
else if (t.type() == TypelInfo.STRING) 
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return "String"; 
else 
return "Object"; 


) 


GReviser public static class PrimaryEx2 extends FuncEvaluator.PrimaryEx { 
public PrimaryEx2(List«ASTree» c) ( super(c); } 


public String translate(TypeInfo result) { return translate(0); } 
public String translate(int nest) [ 
if (hasPostfix(nest)) ( 
String expr = translate(nest + 1); 
return ((PostfixEx)postfix(nest)).translate(expr); 
} 
else 
return ((ASTreeEx)operand()).translate (null); 


) 


GReviser public static abstract class PostfixEx extends Postfix { 
public PostfixEx(List«ASTree» c) ( super(c); ] 
public abstract String translate(String expr); 
} 
GReviser public static class ArgumentsEx extends TypeChecker.ArgumentsEx { 
public ArgumentsEx(List«ASTree» c) { super(c); } 
public String translate(String expr) ( 
StringBuilder code = new StringBuilder (expr); 
code.append('(').append (ENV) ; 
for (int i = 0; i < size(); i++) 
code.append(',') 
.append(translateExpr(child(i), argTypes[il, 
funcType.parameterTypes[il)); 
return code.append(')').toString(); 
) 
public Object eval(Environment env, Object value) ( 
if (!(value instanceof JavaFunction)) 
throw new StoneException("bad function", this); 
JavaFunction func - (JavaFunction)value; 
Object[] args = new Object[numChildren() + 1]; 
args[0] = env; 
int num = 1; 
for (ASTree a: this) 
args [num++] = ((chap6.BasicEvaluator.ASTreeEx)a).eval(env); 
return func.invoke (args); 


) 


GReviser public static class VarStmntEx3 extends TypeChecker.VarStmntEx2 { 
public VarStmntEx3 (List«ASTree» c) ( super(c); } 
public String translate(TypeInfo result) { 
return LOCAL + index + "=" 
+ translateExpr(initializer(), valueType, varType); 
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MA MESEI Runtime.java 





package chap1l4; 
import chapll.ArrayEnv; 


public class Runtime ( 
public static int eq(Object a, Object b) ( 


if (a == null) 

return b == null ? 1 : 0; 
else 

return a.equals(b) ? 1: 0; 


) 


public static Object plus (Object a, Object b) { 
if (a instanceof Integer && b instanceof Integer) 
return ((Integer)a).intValue() + ((Integer)b).intValue(); 
else 
return a.toString().concat (b.toString()); 
) 
public static int writeInt(ArrayEnv env, int index, int value) ( 
env.put(0, index, value); 
return value; 
) 
public static String writeString(ArrayEnv env, int index, String value) { 
env.put(0, index, value); 
return value; 
) 
public static Object writeAny(ArrayEnv env, int index, Object value) { 
env.put(0, index, value); 
return value; 





本 XN、 综 合 所 有 修改 再 次 运行 程序 


























代码 清单 14.25 是 新 版 的 启动 程序 。 该 启动 程序 在 运行 Stone 语言 时 将 同时 执行 类 型 检查 、 








类 型 推论 以 及 Java 二 进 制 代码 的 转换 。 虽 然 本 章 需 要 使 用 Javassist 库 ， 不 过 它 已 经 包含 在 了 











GluonJ 中 ， 因 此 我 们 无 需 做 额外 的 处 理 。 











| B 这 次 多 少 会 快 一 些 了 吧 。 

B 第 8 章 代 码 清单 8.6 中 的 Eib 函数 在 经 过 类 型 推论 处 理 后 ， 所 有 的 变量 都 将 具有 数据 

(小心翼翼 地 定义 了 函数 ) 

D] 是 嘛 ， 所 有 变量 都 具有 类 型 了 啊 。 那 么 这 就 不 需要 添加 : Int 之 类 的 声明 了 呢 。 

回 什么 ? 还 真能 直接 运行 呀 。 

H 咽 ， 因 为 代码 中 只 有 Int 与 String， 非 常 简单 ， 所 以 添加 类 型 也 很 容易 。 
那么 执行 速度 如 何 ? 试 着 计算 下 fib 33 吧 。( 试 着 多 次 执行 fib 33) 
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回 在 函数 定义 完成 后 有 点 慢 啊 。 第 一 次 要 花 0.2 到 0.7 秒 才 行 。 不 过 之 后 每 次 执行 时 就 只 
0.03 至 0.04 秒 了 。 

比 Ruby 要 快 多 了 嘛 。 

[B 不 能 这 么 说 。 不 要 仅 赁 斐 波 那 契 数 的 计算 速度 来 判断 一 种 语言 的 性 能 ， 这 话 我 说 了 多 少 次 了 ， 
可 别 忘 了 。 

回 老师 ， 第 一 次 比较 慢 是 因为 JIT 编译 器 的 关系 吗 ? 

O Stone 语言 处 理 器 本 身 的 JIT 似乎 很 费时 。 不 过 如 果 是 Server 模式 ， 第 一 次 也 会 很 快 。0.03 
秒 的 结果 和 直接 用 Java 写成 的 斐 波 那 契 数 计 算 程序 差不多 了 。 

话说 用 C 语言 来 计算 fib 33 要 花 多 少时 间 ? 

[3 编译 未 经 优化 的 话 ，gcc 需要 0.1 秒 左右 吧 。 

竟然 比 C 语言 还 快 ? 

B 不 要 仅 赁 斐 波 那 契 数 的 计算 速度 来 判断 一 种 语言 的 性 能 呀 ，A 君 。 

B 先 不 说 这 个 ， 如 果 开 启 了 O2 编译 优化 ，gcc 只 要 不 到 0.5 毫秒 就 能 完成 计算 了 。 

E] 毫秒 吗 ， 有 100 倍 的 差距 了 呀 。 

B 斐 波 那 契 数 是 一 个 例外 ， 所 以 差别 会 很 大 。 不 过 要 评论 语言 的 性 能 是 很 难 的 。 只 是 不 断 优化 
一 个 简单 的 程序 的 话 ， 最 后 就 不 知道 到 底 在 测 什么 了 。 事 实 上 ， 在 04 优化 下 ，gcc 只 要 4 

| 微妙 就 能 算 好 了 。 J 











































































































































































































SCHEME] JavaRunner.java 


package chapl14; 
import javassist.gluonj.util.Loader; 
import chap8.NativeEvaluator; 





public class JavaRunner { 
public static void main(String[] args) throws Throwable { 
Loader.run(TypedInterpreter.class, args, ToJava.class, 
InferFuncTypes.class, NativeEvaluator.class); 
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Twitter 


老师 ， 今 天 下 大 雨 了 ， 
那 我 就 在 家 研究 了 


大 雨 ? 什么 呀 ， 明 
明 是 个 大 晴天 啊 


[LULLI 
又 是 台风 又 是 大 雨 ， 还 是 直接 回 家 吧 


2minutes ago 


EHEHBHEEN 
正在 成 田 机 场 等 待 出 发 


12minutes ago 


LL LLLI 
AEOANGPÉSl 


18minutes ago 


Q0 !D: 
DEP 
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第 
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手工 设计 词法 分 析 器 
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LEOEME fies ( 自习 时 间 ) 


s 
15 手工 设计 词法 分 析 器 


在 第 3 天 (第 3 章 )， 我 们 借助 正则 表达 式 库 实 现 了 词法 分 析 需 。 由 于 程序 设计 语言 通常 都 
需 具 备 正 则 表达 式 库 ， 因 此 这 种 方式 不 会 产生 不 便 。 不 过 在 本 章 中 ,我 们 将 讨论 一 种 不 使 用 正则 
表达 式 库 的 词法 分 析 器 设计 方法 。 有 具体 来 讲 ， 我 们 将 不 再 通过 正则 表达 式 库 来 实现 字符 串 匹 配 ， 
正则 表达 式 的 处 理 逻 辑 将 全 部 手工 完成 。 


UA 修改 自动 机 
首先 ， 我 们 来 看 一 个 例子 ， 试 考虑 下 面 的 正则 表达 式 。 


[0-9] + 
































该 正则 表达 式 用 于 匹配 整 型 字面 量 。 
串 。 元 字符 + 表示 至 少 重复 一 次 ， 元 字符 
时 可 以 借助 元 字符 + 简化 表述 。 


LY nl TOYS 











它 能 匹配 由 0 至 9 这 些 数 字 至 少 重复 一 次 组 成 的 字符 
* 表示 至 少 重复 0 次 ， 含 有 元 字符 * 的 正则 表达 式 有 











这 条 正则 表达 式 将 匹配 由 1 个 数字 或 1 个 数字 后 接 若干 数字 构成 的 字符 串 。 从 结果 上 来 看 ， 
这 两 种 正则 表达 式 将 始终 匹配 相同 的 字符 串 。 

为 了 设计 能 够 执行 这 一 正则 表达 式 匹 配 的 程序 ， 我 们 首先 需要 创建 与 之 等 价 的 自动 机 
( automaton， 准 确 来 讲 ， 这 是 一 种 确定 有 限 状态 自动 机 )。 


确定 什么 的 …… 名 字 可 真 长 啊 。 
B 还 有 其 他 很 多 种 自动 机 ， 为 了 区 分 它们 ， 只 能 用 那么 长 的 名 字 了 。 























































































































自动 机 类 似 于 一 种 极为 简单 的 计算 机 。 它 的 内 部 包含 了 一 个 仅 能 记录 有 限 类 型 的 值 的 内 存 ， 
在 接收 新 的 输入 后 ， 新 值 将 由 输入 值 与 当前 值 共 同 决定 ， 并 更 新 至 内 存 中 。 自 动机 不 支持 包括 四 
则 运算 或 分 支 运算 等 在 内 的 任何 其 他 类 型 的 运算 。 目 动机 程序 实质 是 一 张 对 应 关系 表 ， 根 据 该 
表 ， 我 们 能 由 输入 值 及 当前 内 存 值 的 组 合 ， 得 到 需要 保存 至 内 存 中 的 新 值 。 
图 15.1 中 的 自动 机 与 正则 表达 式 [0-9] [0-9]* 等 价 。 图 中 ,圆圈 内 的 数字 表示 自动 机 内 
存 记录 的 当前 值 。 圆 圈 ( 或 其 中 的 数字 ) 称 为 状态 。 图 中 的 箭头 表示 自动 机 在 某 一 状态 下 ， 如 果 
收 到 箭头 旁 标识 的 输入 ， 将 转换 至 箭头 指向 的 状态 ( 这 一 过 程 称 为 转换 )。 也 就 是 说 ， 如 果 圆 圈 
内 的 数字 是 内 存 的 当前 值 ， 且 箭头 旁 的 数字 是 自动 机 接受 的 输入 ,那么 内 存 的 值 将 被 更 新 为 箭头 
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指向 的 圆圈 内 的 数字 。 


始 状 态 " 停止 状态 
用 于 表示 整 型 字面 量 的 自动 机 














事实 上 ， 圆 圈 内 的 数字 并 没有 特殊 的 含义 。 它 们 仅仅 用 于 区 分 不 同 的 圈 圈 。 因 此 ， 有 些 图 中 
圆圈 内 不 写 数 字 。 该 图 最 为 根本 的 一 点 在 于 ， 圆 圈 的 数量 有 限 ( 因此 称 为 有 限 状 态 自 动机 )。 读 
者 千 万 不 能 误 以 为 圆圈 的 个 数 可 以 无 限 增加 。 





























n 说 是 不 能 无 限 ， 那 万 一 有 的 正则 表达 式 只 能 与 含有 无 限 个 圆圈 的 自动 机 等 价 的 话 ， 该 怎么 
办 呢 ? 

B ^ 君 ， 你 好 好 听课 了 吗 ? 任何 正则 表达 式 都 能 转化 为 与 之 等 价 的 有 限 状态 机 哦 ， 也 就 是 说 自 
a 动机 定 能 仅 包含 有 限 个 圆圈 ， 这 可 是 常识 呀 。 | 
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字符 串 匹配 的 执行 将 从 起 始 状 态 ， 即 图 中 的 状态 1 开始 。 自 动机 将 从 字符 串 头 部 开始 逐一 输 
入 字符 ， 并 据 此 改变 状态 ， 最 终 抵达 停止 状态 ， 即 图 中 的 状态 2。 执 行 途中 如 果 找 不 到 符合 要 求 
的 第 头 就 会 出 现 错误 ,字符 串 匹 配 失败 。 例 如 ,假设 自动 机 在 状态 1 下 接受 了 输入 A， 由 于 图 中 
的 箭头 只 有 在 接受 数字 输入 时 有 效 ， 因 此 本 次 匹配 将 以 出 错 告 终 。 

状态 2 是 一 个 停止 状态 ， 其中， 我 们 应 当 关 注 的 是 状态 2 上 标 有 的 箭头 。 可 以 看 到 ， 该 自动 
机 的 状态 2 依然 能 够 接受 数字 输入 并 继续 执行 。 由 于 箭头 从 状态 2 出 发 又 回 到 该 状态 ， 因 此 无 论 
输入 几 次 ， 自 动机 将 始终 处 于 状态 2。 只 要 输入 内 容 是 数字 ， 自 动机 的 执行 将 不 断 循环 。 

要 判断 正则 表达 式 是 否 与 整个 字符 串 匹配 ， 程 序 需要 检查 字符 串 的 最 后 一 个 字符 输入 后 , 日 
动机 是 否 处 于 停止 状态 。 如 果 没 有 到 达 停 止 状态 ,或 中 途 出 错 ， 则 表示 字符 串 与 正则 表达 式 不 匹配 。 

在 词法 分 析 过 程 中 ,语言 处 理 带 需要 判断 正则 表达 式 与 字符 串 头 部 的 多 少 字 符 匹配 。 例 如 ， 
假设 有 以 下 字符 串 。 


37441 



























































四” 亦 有 起 始 状态 、 初 始 状态 等 译 法 。 译 者 注 
D 亦 有 接受 状态 、 终 止 状态 、 结 束 状 态 等 译 法 。 译 者 注 
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该 字符 串 的 前 两 个 字符 ， 即 子 字 符 串 37， 与 正则 表达 式 [0-9] [0-9] * 匹配 。 为 了 得 到 这 一 
结果 ， 自 动机 必须 不 断 运 行 ， 直 至 无 法 再 接受 新 的 输入 ， 到 达 停止 状态 。 无 法 再 接受 新 的 输入 指 
的 是 ， 任 何 新 的 输入 都 会 引起 错误 。 对 于 上 面 的 例子 ， 自 动机 将 接受 2 个 字符 ， 至 数字 7 为 止 。 
此 时 ,自动 机 处 于 状态 2， 且 已 抵达 停止 状态 ， 如 果 继 续 接 受 第 3 个 字符 + 就 会 报错 。 该 状态 
下 , 已 经 接受 的 字符 将 能 与 正则 表达 式 匹 配 。 由 于 这 里 最 后 接受 的 字符 是 7, 因此 子 字 符 串 37 能 
够 与 正则 表达 式 匹配 。 









































| 正则 表达 式 被 改 为 自动 机 后 ， 似 乎 就 能 用 程序 实现 了 对 吧 ? à 
回 毕 况 自动 机 的 执行 方式 多 少 和 计算 机 有 些 相似 呢 。 
D 不 过 ， 改 起 来 难度 不 小 吧 ? 
D 老师 ， 您 要 不 先 讲 下 怎么 把 正则 表达 式 改 为 非 确定 有 限 状态 自动 机 ， 再 介绍 怎么 把 它 进 一 步 
改写 为 确定 有 限 状态 机 吧 ? 一 般 的 教材 都 是 这 么 安排 的 。 
Bl 如 果 人 允许 任意 的 正则 表达 式 ， 并 改写 与 之 相应 的 匹配 程序 的 话 ， 确 实 是 要 这 样 ……: 
意思 是 我 们 要 从 头 自 己 手工 设计 正则 表达 式 库 ? 
B 如 果 已 知 正则 表达 式 ， 要 直接 把 它 转换 成 确定 有 限 状 态 自动 机 也 不 是 件 难事 。 稍 微 想 想 就 能 
做 出 来 了 。 
| El 那 是 因为 老师 您 已 经 理解 得 很 透彻 了 所 以 才能 做 到 吧 …… J 
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下 面 我 们 再 来 看 一 个 自动 机 的 例子 。 这 次 我 们 尝试 将 一 条 更 加 复杂 的 正则 表达 式 改 写 为 自动 
LIE, 


\s* ( [0-9] [0-9] *| [A-Za-z] [A-Za-z0-9] * |- | 2) 


它 与 第 3 章 使 用 的 正则 表达 式 十 分 相似 。 在 该 正则 表达 式 中 ，\sx* 之 后 跟 有 由 | 连接 的 4 种 
模式 。 其 中 ， 第 1 个 模式 用 于 与 整形 字符 串 匹 配 。 第 2 个 模式 用 于 与 标识 符 匹 配 。 如 果 一 个 字符 
串 的 首 个 字符 是 A 至 z 中 的 某 个 字母 ， 且 之 后 跟 有 若干 个 字母 或 数字 ， 抑 或 不 后 接任 何 内 容 ， 它 
就 会 与 该 模式 匹配 。 最 后 两 个 模式 用 于 匹配 = 以 及 ==。 由 于 Ns 表示 空白 符 ， 因 此 最 终 该 正则 表 
达 式 匹配 的 字符 串 将 由 两 部 分 组 成 。 首 和 完 ， 空 白 符 将 重复 出 现 多 次 或 完全 不 出 现 ， 之 后 ， 青 接 有 
一 个 与 四 种 模式 中 的 某 模 式 相 匹配 的 字符 串 。 

图 15.2 是 与 该 正则 表达 式 等 价 的 自动 机 ， 它 含有 S 种 状态 。 其 中 ， 状 态 1 是 开始 状态 ， 其 
余 都 是 停止 状态 。 当 自动 机 处 于 状态 1 时 ， 它 能 根据 输入 的 内 容 在 4 种 模式 中 选择 ， 并 转换 至 相 
应 的 状态 。 如 果 输 入 的 是 空白 符 ， 自 动机 将 保持 状态 1， 直 至 接受 到 与 某 种 模式 匹配 的 字符 。 

由 于 模式 = 与 == 的 首 字符 相同 , 因此 对 于 这 两 种 模式 ,自动 机 都 将 转换 至 状态 4。 如 果 下 一 
个 字符 不 是 =， 匹 配 将 就 此 结束 。 如 果 自 动机 继续 接受 了 一 个 字符 =， 就 将 转换 至 状态 5 并 结 
状态 5 没有 转换 至 其 他 状态 的 箭头 ， 因 此 无 论 之 后 的 输入 是 什么 ,匹配 过 程 都 会 直接 结束 ， 不 会 
进行 判断 。 
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DA 自动 机 程序 


如 果 能 够 将 正则 表达 式 改 写 为 自动 机 ， 就 不 难 将 其 进一步 改写 为 用 于 执行 基于 原 正 则 表达 式 
的 字符 串 匹 配 程序 。 代 码 清单 15.1 是 根据 图 15.2 中 的 自动 机 改写 而 来 的 程序 。 其 中 包含 了 用 于 
测试 的 main 方法 。 

在 调用 Lexer 类 的 read 方法 后 ， 词 法 分 析 需 将 从 Reader 对 象 中 读 取 字符 ， 并 返回 前 端 
与 正则 表达 式 匹 配 的 子 字 符 串 。 不 过 ， 起 始 的 空白 符 不 会 被 返回 。 再 次 调用 read 方法 时 ,词法 
分 析 器 将 从 上 次 返回 的 字符 串 之 后 接着 继续 处 理 ， 返 回 与 正则 表达 式 匹 配 的 字符 串 。 

分 析 read 方法 的 内 部 可 以 发 现 ， 它 仅 是 自动 机 逻辑 的 一 种 直接 表述 。 自 动机 中 的 箭头 在 程 
序 中 以 if 或 while 语句 表示 。 如 果 箭头 返回 的 是 原 有 状态 , 则 由 while 语句 表示 。 如 果 正 则 表 
达 式 不 是 很 复杂 ， 这 种 级 别 的 简单 程序 就 足以 表达 它 的 匹配 逻辑 。 

词法 分 析 器 通过 Lexer 类 的 getchat 方法 从 Reader 对 象 中 逐一 读 取 字符 。ungetChar 
方法 将 重 置 字符 的 读 取 状 态 , 使 词法 分 析 融 能 够 重新 读 取 该 字符 。 在 重 置 了 字符 的 读 取 状 态 后 ， 
词法 分 析 器 能 再 次 使 用 get char 方法 重新 读 取 该 字符 。 

词法 分 析 需 之 所 以 需要 支持 这 种 操作 ， 是 因为 它 必 须 从 读 取 的 字符 串 前 端 获取 与 正则 表达 式 
匹配 的 尽 可 能 长 的 部 分 。 为 此 ， 正 如 之 前 所 讲 ， 词 法 分 析 需 不 得 不 持续 运行 ， 直 至 无 法 再 接受 新 
的 输入 字符 ， 到 达 停 止 状态 。 此 时 ，Reader 对 象 中 可 能 还 留 有 一 些 字 符 。 由 于 词法 分 析 器 在 继 
续 读 取 字 符 时 将 发 生 错误 ， 因 此 它 必 须 能 够 通过 ungetchar 方法 取消 读 取 。 此 外 ， 这 些 字符 如 
果 不 是 空白 符 ， 将 在 下 次 调用 read 方法 时 成 为 字符 串 的 起 始 字符 。 






























































0-9 


停止 状态 









停止 状态 











始 状 态 





用 于 识别 整 型 字面 量 、 标 识 符 与 等 号 的 自动 机 


二 下 庄 正 沽 [一 由 图 15.2 中 的 自动 机 改写 得 到 的 程序 
package chapA; 

import java.io.IOException; 

import java.io.Reader; 





import stone.CodeDialog; 
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public class Lexer { 
private Reader reader; 
private static final int EMPTY - -1; 


private int lastChar - EMPTY; 
public Lexer(Reader r) ( reader = r; ] 
private int getChar() throws IOException { 
if (lastChar -- EMPTY) 
return reader.read(); 
else ( 
int c = lastChar; 
lastChar = EMPTY; 
return C; 





) 


private void ungetChar(int c) { lastChar = c; } 
public String read() throws IOException { 

StringBuilder sb - new StringBuilder(); 

int c; 

do ( 

c - getChar(); 
) while (isSpace(c)); 
if (c « O) 


return null; // end of text 
else if (isDigit(c)) { 
do ( 


sSsb.append((char)c); 
c = getChar(); 
) while (isDigit(c)); 
) 
else if (isLetter(c)) { 
do ( 
Sb.append((char)c); 
c = getChar(); 


) while (isLetter(c) || isDigit(c)); 
) 
else if (c == '=') { 
c = getOhar(); 
if (c ss Ts") 
return "zz"; 
else ( 
ungetChar (c); 
return "z"; 


) 


else 
throw new IOException(); 


if (c s= 0) 
ungetChar (c); 


return sb.toString(); 


) 


private static boolean isLetter(int c) ( 
return 'A' <= c && c <= 'Z' || 'a' <= c && C <= 'z'; 


) 
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private static boolean isDigit(int c) { return '0' <= c && c <= '9'; } 
private static boolean isSpace(int c) ( return 0 <= c && c <= ' '; } 
public static void main(String[] args) throws Exception [ 
Lexer 1 = new Lexer (new CodeDialog()); 
for (String s; (s = l.read()) != null; ) 
System.out.println("-» " + s); 





MED 正则 表达 式 的 极限 

正则 表达 式 能 够 表述 非常 复杂 的 字符 串 模式 匹配 逻辑 ， 但 它 并 非 万 能 。 例 如 ， 我 们 来 考虑 一 
下 与 由 /* 与 */ 括 起 的 注释 语句 匹配 的 正则 表达 式 。 乍 一 看 , 它 可 以 通过 正则 表达 式 表述 , 但 只 
要 在 这 样 的 注释 中 还 嵌 套 了 由 /* 与 */ 标识 的 注释 ， 正 则 表达 式 就 无 能 为 力 了 。 





/* java /* ruby */ scala */ 
WAE EXRUERE. GRDERERRE T ARER /*ruby*/。 我 们 无 法 写 出 一 条 能 够 与 整 条 注 
释 匹 配 的 正则 表达 式 。 正 则 表达 式 最 多 能 匹配 下 面 这 样 的 注释 ，scala*/ 将 无 法 被 识别 。 


/* java /* ruby */ 



















































































ín RSEBÜUCATAORSS, SO UOENMSIGIJBSESCUABUGEN|AYAINGRXR. Z0iRBA4X RB À 
有 限 的 几 层 ， 正 则 表达 式 还 是 能 表述 的 。 但 如 果 藤 套 是 无 限 的 ， 就 没 办 法 了 。 
为 什么 会 这 样 呢 ? 
BE 因为 正则 表达 式 一 定 能 以 有 限 状 态 自动 机 表示 呀 。 也 就 是 说 ， 它 只 能 处 理 有 限 的 状态 。 因 此 
能 够 处 理 有 限 层 岁 套 的 正则 表达 式 还 是 存在 的 ， 但 能 处 理 无 限 层 骨 套 的 正则 表达 式 从 理论 上 
UL | 
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语法 分 析 方 式 
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小 














第 5 章 ( 第 5 天 ) 通过 Parser 库 轻 松 实现 了 语法 分 析 逻 辑 。 本 章 将 介绍 怎样 才能 不 使 用 这 
类 外 部 的 库 ， 手 工 设计 语法 分 析 程序 。 











UAA 正则 表达 式 与 BNF 


上 一 章 已 经 介绍 了 如 何 设计 基于 正则 表达 式 的 字符 串 匹 配 程序 。 由 代码 清单 15.2 的 程序 可 
知 ， 该 匹配 程序 比 想象 中 简单 得 多 。 

如 果 由 BNF 定义 的 语法 的 复杂 程度 不 高 ， 基 于 该 语法 的 语法 分 析 程 序 同样 会 直观 明了 。 事 
实 上 ， 正 则 表达 式 也 能 视 作 一 种 语法 表述 方式 ， 它 能 够 表达 某 些 由 BNF 定义 的 语法 。 能 够 由 
BNF 表述 的 语法 称 为 上 下 文 无 关 文 法 ， 而 能 通过 正则 表达 式 表 述 的 语法 称 为 正则 文法 。 如 果 一 
种 语法 是 正则 文法 ， 我 们 就 能 通过 与 上 一 章 类 似 的 方式 ， 设 计 出 语法 分 析 程序 。 




































































( B 顺便 提 一 句 ， 也 有 上 下 文 有 关 文法 这 种 语法 。 | 
El 咽 ， 那 是 怎样 的 语法 来 着 ? 
Bl BNF 语法 规则 的 左 侧 是 一 个 非 终结 符 。 如 果 它 的 前 后 含有 终结 符 ， 比 如 "/" pat "/" 这 

样 ， 该 语法 就 是 一 种 上 下 文 有 关 文法 。 也 就 是 说 ， 只 有 被 字符 / 前 后 括 起 时 ， 非 终结 符 pat 




































































































































































\ 才能 扩展 成 这 条 语法 规则 右 侧 的 模式 。 | 
正则 表达 式 用 于 字符 串 的 匹配 ，BNF 则 用 于 单词 序列 的 匹配 。 乍 一 看 两 者 区 别 很 大 ， 其 实 ， 
如 果 将 字符 串 中 的 每 个 字符 视 作 一 个 单词 ， 就 不 难 发 现 正 则 表达 式 与 BNF 的 本 质 相 同 ， 都 能 用 














| 





于 模式 匹配 。 例 如 ， 下 面 的 正则 表达 式 与 由 BNF 定义 的 语法 规则 相同 。 


BO SO [es 
daigai "o" | "q" | non | Dee | "gn | "9n 
number: digit | digit number 


非 终结 符 number 的 语法 规则 以 递归 形式 定义 ， 它 表示 非 终结 符 digit (0 至 9 的 数字 ) 将 
至 少 出 现 一 次 ， 本 质 与 上 面 的 正则 表达 式 相 同 。 如 上 所 示 ， 如 果 语 法 规则 的 右 侧 同时 包含 终结 符 
与 非 终结 符 ， 且 除了 最 右 端 是 非 终结 符 外 ， 右 侧 的 剩余 部 分 都 是 终结 符 ， 该 语法 就 是 一 种 正则 文 
法 。 也 就 是 说 ， 该 语法 能 由 正则 表达 式 表 述 。 




























































































回 也 就 是 说 能 够 循环 展开 的 就 是 正则 文法 对 吧 ? 











| B 右 侧 的 非 终 结 符 表 示 递 归 ， 因 此 这 里 的 关键 是 语法 规则 必须 在 尾部 递归 。 | 
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我 们 顺便 通过 一 个 具体 的 例子 来 深入 探讨 一 下 number 的 定义 。number 可 以 由 一 
个 digit 构成 ， 也 能 由 digit 后 接 number 构成 。 

在 第 一 种 情况 下 ，number 就 是 一 个 digit. 在 第 二 种 情况 下 ， 后 接 的 number 可 以 是 一 
^ digit, 也 可 以 是 一 个 digit 再 后 接 number. 
































nm 
digit number 
于 是 ， 以 digit number 为 例 ， 对 于 第 一 种 情况 ， 加 上 原 有 的 digit, St number 由 两 
个 digit 组 成 。 对 于 第 二 种 情况 ,最 后 的 number 既 可 以 是 一 个 digit， 也 可 以 是 digit 再 后 
接 number。 由 于 这 可 以 无 限 循环 ， 因 此 最 终 ，number 可 以 仅 含有 一 个 digit， 也 可 以 由 任意 
个 连续 的 digit 组 成 。 








digit digit 
digit digit number 


16.2 WEST DE E 

如 果 一 种 由 BNF 定义 的 语法 不 是 正则 文法 ， 我 们 就 不 得 不 使 用 更 加 复杂 的 算法 来 实现 语法 
分 析 。 遗 憾 的 是 ， 绝 大 部 分 的 程序 设计 语言 语法 都 不 是 正则 文法 。 只 要 语言 支持 在 表达 式 中 使 用 
无 限 藤 套 的 括号 ， 它 就 无 法 通过 正则 文法 表述 。 

现 已 存在 大 量 能 够 对 非 正则 文法 进行 语法 分 析 的 算法 。 这 些 算 法 各 有 特色 。 其 中 一 些 算法 较 
为 简单 ， 只 能 处 理 与 正则 文法 区 别 不 大 的 语法 。 另 外 一 些 算法 非常 复杂 ， 但 能 够 对 各 种 不 同类 型 
的 语言 进行 语法 分 析 。 

| 
























































( B 这 部 分 理论 非常 深奥 
B, 是 呀 。 
回 你 嗯 个 什么 啊 ， 编 译 课 上 不 是 讲 过 吗 ? 

| 四 哎呀 ， 当 时 我 完全 在 梦游 了 。 J 





CU 
o 



































常见 的 语法 分 析 算 法 可 以 分 为 癌 上 分 析 算 法 与 向 下 分 析 算 法 两 类 。 前 者 称 为 自 底 向 上 语法 分 
析 ， 后 者 称 为 自 顶 向 下 语法 分 析 。 向 上 分 析 算法 将 首先 组 合 相 邻 单词 创建 子 表达 式 ， 再 组 合 这 些 
子 表达 式 ， 逐 步 构造 出 整体 结构 。LR 语法 分 析 ( Left-to-right，Rightmost derivation ) 是 一 种 著名 
的 自 底 向 上 分 析 算 法 。LR 语法 分 析 非 常 强大 ,但 基于 LR 算法 的 语法 分 析 程 序 很 难 实现 ， 因 此 ， 
人 们 通常 会 使 用 自动 工具 将 BNF 语法 转换 为 语法 分 析 需 。 其 中 ，yacc 是 长 久 以 来 为 人 们 所 熟知 
的 典型 。 不 过 需要 注意 的 是 ，yacc 实现 的 其 实 是 LALR 语法 分 析 ， 它 的 语法 分 析 能 力 稍 进 于 LR 
语法 分 析 。 
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O 和 A 君 ， 把 工具 当 黑 盒 直接 使 用 可 不 好 啊 。 























| 老师 ， 我 们 就 直接 用 工具 来 生成 吧 ， 不 用 讲 内 部 的 原理 了 。 








男 一 种 向 下 分 析 语 法 将 从 整体 结构 开始 向 下 分 析 。LL 语法 分 析 ( Left-to-right，Leftmost 
derivation ) 是 其 中 的 代表 。LL 语法 分 析 器 程序 较为 简单 ， 是 一 种 充分 利用 了 递归 调用 的 递归 下 
KERATAN ( recursive-descent parser )。 这 种 分 析 器 也 可 称 为 基于 递归 的 自 顶 向 下 语法 分 析 恬 。 
本 书 讲解 LL 语法 分 析 。 然 而 遗憾 的 是 ，LL 语法 分 析 算 法 并 非 万 能 ， 它 无 法 处 理 所 有 LR 语法 分 
析 能 够 胜任 的 情况 。 不 过 ， 如 果 程 序 设 计 语言 的 语法 不 是 特别 复杂 ，LL 语法 分 析 就 已 足够 。 
此 ， 如 果 不 使 用 自动 生成 工具 ， 人 们 常会 采用 LL 语法 分 析 来 处 理 语法 。 













































































(a 只 要 多 预 读 几 次 ，LL 语法 分 析 的 性 能 就 能 与 LR 语法 分 析 不 相 上 下 ， 因 此 我 选择 讲解 LL 语 | 
法 分 析 。 之 后 还 会 详细 介绍 这 里 提 到 的 预 读 机 制 。 
Dl 这 里 说 LL 语法 分 析 弱 于 LR 语法 分 析 的 前 提 是 只 允许 预 读 一 次 。 也 就 是 说 ， 比 较 的 对 象 是 
C LL(1) 与 LRO) 的 分 析 能 力 2。 J 
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接 下 来 ， 我 们 来 分 析 一 下 支持 LL 语法 分 析 的 递归 下 降 语法 分 析 器 。 我 们 将 以 第 4 章 代 码 清 
单 4.7 中 的 语法 规则 为 例 ， 设 计 一 个 能 对 四 则 运算 表达 式 进行 语法 分 析 的 程序 。 

为 方便 阅读 ， 代 码 清单 16.1 重新 列 出 了 代码 清单 4.7 中 的 语法 规则 。 代 码 清单 16.2 是 相应 
的 程序 ， 其 中 包含 了 用 于 测试 的 main 方法 。 该 程序 使 用 了 第 3 章 ( 第 3 天) 代码 清单 3.3 中 
的 Lexer 类 ， 作 为 语言 处 理 需 的 词法 分 析 咒 。 

阅读 程序 后 不 难 理解 ， 代 码 清 单 16.1 中 的 各 条 语法 规则 分 别 由 factor. term 与 expression 
这 3 种 方法 实现 。 这 些 方 法 分 别 与 : 左 侧 的 各 个 非 终结 符 对 应 。 它 们 将 通过 词法 分 析 器 读 取 一 条 


中 ”东京 工业 大 学 的 估 估 政 孝 老 师 为 这 一 点 添加 了 补充 说 明 。 
从 这 段 对 话 来 看 ， 似 乎 LL(k) 的 分 析 能 力 弱 于 LR(1)。 然 而 ， 情 况 并 没有 那么 简单 。 
严格 来 讲 ， 能 够 通过 LL(k) 分 析 的 语言 ， 即 LL(k) 语言 ， 只 要 方法 得 当 ， 总 能 够 转换 为 能 够 以 LR(1) 分 析 的 语言 。 也 
就 是 说 ， 假 设 有 某 种 程序 设计 语言 ， 如 果 它 能 通过 LL(k) 分 析 ， 我 们 只 要 稍微 修改 一 下 它 的 语法 ， 就 能 使 用 LR(1) 来 
分 析 该 语言 。 这 里 所 说 的 语法 修改 自然 不 能 改变 语言 本 来 的 语法 含义 。 因 此 ， 如 果 一 段 程序 符合 (或 不 符合 ) 某 种 语 
法 ， 它 同样 也 符合 (或 不 符合 ) 修 改 后 的 版 本 。 
反之 ,能 够 由 LR(1) 分 析 的 语言 并 不 一 定 都 能 改写 为 可 以 通过 LL(k) 分 析 的 版 本 。 与 LR(1) 相 比 ，LL(k) 分 析 适 用 性 
更 强 。 
不 过 ， 这 一 切 的 前 提 都 是 语言 需要 经 过 改写 。LL(k) 语法 在 被 改写 为 能 通过 LR(1) 分 析 的 版 本 后 ， 常 常会 变 得 难以 理 
解 。 从 易 读 性 的 观点 来 看 ， 基 于 LL(k) 分 析 的 版 本 更 加 合适 。 
如 果 不 允 许 转 换 语 法 ， 有 些 语法 就 只 能 通过 LL(k) 方式 分 析 ， 而 无 法 使 用 LR(1) 分 析 。 此 时 ， 最 好 选择 LL(k)。 此 外 ， 
尽管 能 由 LL(k) 分 析 的 语法 必定 能 通过 LR(k) AH, 但 LR(k) 分 析 的 算法 很 难 手工 设计 ，LR(k) 语法 分 析 器 的 生成 工 
具 也 较为 少见 ，LL(k) 分 析 依然 有 一 定 的 优势 。 
这 个 问题 较为 复杂 ， 读 者 如 有 兴趣 ， 请 参考 其 他 相关 书籍 。 
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与 非 终结 符 对 应 的 单词 序列 ， 并 以 抽象 语法 树 的 形式 返回 语法 分 析 结 
每 一 个 方法 的 内 部 都 与 自动 机 十 分 类 似 ， 它 们 将 根据 规则 对 输入 进行 词法 分 析 。 首 先 ， 我 们 

来 分 析 一 下 各 条 语法 规则 表示 的 铁路 图 。 第 4 章 的 图 4.6 是 与 代码 清单 16.1 中 语法 规则 对 应 的 铁 
路 图 。 自 动机 的 箭头 旁 标注 的 是 输入 的 类 型 ， 铁 路 图 则 把 这 些 标 在 箭头 指向 的 圆圈 或 矩形 中 ， 两 
者 本 质 上 十 分 相似 。 因 此 ， 基 于 两 者 实现 的 基本 程序 架构 也 大 同 小 异 ， 都 将 通过 词法 分 析 器 获取 
单词 ， 并 以 此 确定 箭头 的 前 进 方向 。 

与 自动 机 不 同 的 是 ， 铁 路 图 中 的 非 终 结 符 分 别 与 不 同 的 方法 对 应 。 在 铁路 图 中 沿 箭头 前 

进 时 ， 如 果 中 途 遇 到 非 终 结 符 (以 矩形 表示 )， 程 序 将 调用 与 之 对 应 的 方法 ， 对 该 部 分 进行 语 
法 分 析 。 


四 则 运算 表达 式 的 语法 规则 ( 与 代码 清单 4.7 相 同 ) 


























factor: NUMBER | "(" expression ")" 
term: factor ( ("*" | "/") factor } 
expression: term ( ("+" | "-") term } 


MEMA ExprParser.java 


package chapB; 
import java.util.Arrays; 
import stone.*; 





import stone.ast.*; 


public class ExprParser { 
private Lexer lexer; 


public ExprParser(Lexer p) { 
lexer = p; 
) 


public ASTree expression() throws ParseException ( 
ASTree left - term(); 


while (isToken("«") || isToken("-")) { 
ASTLeaf op - new ASTLeaf (lexer.read()); 
ASTree right - term(); 





left - new BinaryExpr(Arrays.asList(left, op, right)); 
) 
return left; 
) 
public ASTree term() throws ParseException { 
ASTree left - factor(); 
while (isToken("*") || isToken("/")) { 
ASTLeaf op - new ASTLeaf (lexer.read()); 
ASTree right = factor(); 
left - new BinaryExpr(Arrays.asList(left, op, right)); 





) 


return left; 


) 


public ASTree factor() throws ParseException { 
if (isToken("(")) { 
token("("); 
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ASTree e = expression(); 


token(")"); 
return e; 
else ( 

Token t - lexer.read(); 

if (t.isNumber()) { 
NumberLiteral n = new NumberLiteral (t); 
return n; 

else 


throw new ParseException(t); 


} 
} 


void token(String name) throws ParseException { 
Token 七 = lexer.read(); 
if (!(t.isIdentifier() && name.equals(t.getText()))) 
throw new ParseException(t); 
) 
boolean isToken(String name) throws ParseException { 
Token 七 = lexer.peek(0); 
return t.isIdentifier() && name.equals(t.getText()); 


) 


public static void main(String[] args) throws ParseException { 
Lexer lexer - new Lexer(new CodeDialog()); 
ExprParser p - new ExprParser(lexer); 
ASTree t - p.expression(); 
System.out.println("-» " + t); 





在 本 例 中 ，expression 方法 将 在 中 途 调 用 term 方法 ，term 方法 又 会 中 途 调 用 factor F 
法 。 这 是 由 于 表示 各 个 非 终 结 符 的 语法 规则 的 右 侧 都 含有 其 他 的 非 终 结 符 。£factor 方法 甚至 可 
能 会 调用 expression 方法 。 这 就 是 所 谓 的 递归 调用 。 











Bl 与 正则 表达 式 不 同 ，BNF 支持 递归 定义 ， 这 也 是 它 的 一 大 特征 。 | 
为 了 让 语法 规则 支持 递归 ， 每 条 规则 都 需要 通过 不 同 的 方法 来 实现 对 吧 ? 这 我 还 是 知道 的 。 
B 真 的 明白 了 吗 ? 反 过 来 说 ， 由 于 正则 表达 式 不 支持 递归 ， 因 此 我 们 不 得 不 想方设法 通过 
while 语句 来 实现 循环 处 理 。 
D] 代码 清单 16.2 的 程序 也 通过 while 语句 实现 了 对 BNF 中 () 部 分 的 循环 处 理 。 
(ag B, () 是 BNF 的 一 种 元 字符 ， 它 是 从 正则 表达 式 中 引入 的 。 J 


程序 在 铁路 图 中 遇 到 箭头 分 支 时 ， 将 调用 isToken 方法 来 分 析 下 一 个 单词 ， 确 定 箭头 的 走 
Eo PU, expression 方法 将 通过 isToken 方法 判断 非 终 结 符 term 之 后 跟 的 是 否 是 + 或 - 
如 果 接 受 的 输入 是 + 或-， 根据 语法 规则 ， 之 后 应 该 跟 有 非 终 结 符 term， 因 此 程序 将 进一步 调 
用 term 方法。 如 果 不 是 ， 处 理 将 就 此 结束 。isToken 方法 将 调用 Lexer 类 的 peek 方法 来 查 
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找 之 后 的 单词 。 请 读者 注意 ， 由 于 该 方法 只 是 预 读 单词 ， 因 此 在 isToken 方法 确定 了 前 进 路 线 
后 , 程序 还 需要 再 次 调用 lexer 的 read 方法 执行 实际 的 读 取 。 不 过 ，factor 方法 不 需要 直接 
调用 read 方法 ， 它 能 通过 token 方法 间接 完成 调用 。 





























[3 词法 分 析 器 的 基本 输出 形式 是 数据 流 。 请 大 家 注意 read B peek 的 区 别 。3.3 节 也 提 到 过 这 点 。 ] 

















如 果 在 与 语法 对 应 的 铁路 图 中 遇 到 箭头 分 支 ， 为 使 LL 语法 分 析 顺 利 执行 ， 程 序 必 须 能 够 仅 
赁 下 一 个 单词 就 确定 分 支 的 选择 。 如 果 一 种 语法 无 法 达到 这 一 要 求 ， 就 不 能 由 工 L 语法 分 析 执 行 
解析 。 查 看 下 一 个 单词 的 内 容 的 操作 称 为 预 读 。 

在 代码 清单 16.2 P, peek 方法 能 够 预 读 下 一 个 单词 ， 确 定 箭头 的 走向 。 对 于 有 些 语 法 规 
则 ， 语 法 分 析 器 不 能 仅 任 下 一 个 单词 就 确定 箭头 的 走向 。 这 时 ， 上 述 方法 无 法 完成 语法 分 析 。 不 
过 ， 如 果 预 读 多 个 单词 后 能 够 确定 结果 ， 语 法 分 析 器 只 需 预 读 必需 的 单词 即 可 完成 分 析 。 这 类 
LL 语法 分 析 称 为 LL(k)。 为 方便 区 分 ， 至 多 预 读 一 次 的 LL 语法 分 析 称 为 LL(1)。LL(k) 算法 自 
RZE LLO) 更 为 强大 ， 能 够 分 析 更 加 复杂 的 语法 。 




















( Dl 什么 时 候 需 要 预 读 2、3 个 单词 来 着 ? 让 
BH 看 一 下 下 面 的 语法 吧 。 
表达 式 :" ("标识 符 ") "表达 式 | "(" etn) OX (Ce X) 



































Ll 根据 该 定义 ， 表达 式 可 以 是 类 型 转换 表达 式 、 括 号 括 起 的 表达 式 ， 或 是 加 法 运算 表达 式 等 ， 
没 错 吧 ? 

回 也 就 是 说 ， 在 预 读 得 到 的 单词 是 左 括号 时 ， 程 序 必须 进一步 预 读 ， 才 能 知道 当前 表达 式 究竟 
是 一 条 类 型 转换 表达 式 还 是 一 条 由 括号 括 起 的 表达 式 对 吗 ? 

B 假设 有 程序 (shape) 。 你 们 觉得 这 是 类 型 转换 表达 式 还 是 由 括号 括 起 的 表达 式 ? 

园 如 果 shape 是 变量 ， 这 就 是 一 个 由 括号 括 起 的 表达 式 。 不 过 词法 分 析 器 可 不 知道 这 些 。 

四 在 这 个 例子 里 ， 不 进一步 预 读 的 话 可 不 知道 具体 怎么 处 理 呀 。 

B 说 的 对 。 只 预 读 左 右 括号 括 起 的 内 容 还 不 够 ， 还 要 继续 预 读 单词 。 如 果 下 一 个 单词 是 一 个 标 
识 符 ， 比 如 (shape) s， 那 这 段 程序 就 是 一 条 类 型 转换 表达 式 。 

DL] 如 果 程 序 是 (shape) + 3， 即 右 括号 之 后 是 一 个 + 号 ， 那 shape 就 是 一 个 变量 名 ，(shape) 
则 是 一 条 括号 表达 式 。 

加 没 错 。 但 如 果 shape 是 一 个 double 类 型 的 名 称 ，(shape) + 3 就 该 是 类 型 转换 表达 式 了 。 

这 么 说 ， 无 论 预 读 多 少 都 没 用 了 咯 。 说 到 底 ， 这 里 的 语法 规则 设计 得 有 问题 。 

O 正 是 如 此 。 由 于 这 里 的 语法 定义 有 歧义 ， 因 此 无 法 通过 LL 语法 分 析 处 理 。 

那 该 怎么 办 才 好 ? 

BH 暂且 不 必 深 究 ， 类 型 转换 也 好 ， 括 号 表达 式 也 好 ， 都 行 。 先 创建 语法 树 ， 在 完成 语法 分 析 后 

L 再 做 修正 就 行 了 吧 。 
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对 于 有 些 语法 ,语法 分 析 带 无 论 预 读 多 少 个 单词 也 不 能 确定 箭头 的 走向 。 如 果 预 读 了 一 个 单 
词 后 仍 有 多 种 可 选 走向 ， 语 法 分 析 需 就 无 法 做 出 正确 选择 。 这 时 ， 我 们 只 需 让 语法 分 析 需 任意 选 
择 走向 ， 如 果 之 后 走 不 通 ( 发 生 语法 错误 ) 返回 (回溯 ) 至 分 支 处 选择 其 他 路 线 即 可 。 不过， 这 
己 经 超越 了 LL 语法 分 析 的 范畴 。 不 断 的 回溯 也 会 影响 语法 分 析 速 度 。 为 了 避免 这 种 情况 ， 在 设 
计 程 序 设计 语言 时 ， 我 们 应 尽 可 能 将 预 读 次 数 限制 在 一 次 以 内 。 如 果 语 法 需要 多 次 预 读 才 能 分 
析 ， 它 的 定义 通常 比较 模棱两可 ， 我 们 应 该 先 考虑 修改 这 些 定 义 。 
























































「 我 们 也 可 以 用 其 他 方法 来 解决 这 个 问题 。 在 词法 分 析 器 中 进一步 细 分 单词 的 类 型 后 ， 语 法 中 | 
的 歧义 就 有 可 能 会 自动 消失 。 例 如 ， 如 果 下 一 个 单词 是 一 个 标识 符 ， 只 要 词法 分 析 器 能 明确 
它 是 变量 名 、 类 型 名 还 是 保留 字 ， 语 法 歧义 就 会 减少 。 

E 不 过 ， 能 够 做 到 这 些 的 词法 分 析 器 还 算是 词法 分 析 器 吗 ? 
Dl 在 完成 分 析 前 不 停 循 环 回 溯 的 LL 语法 分 析 其 实 是 一 种 packrat 语法 分 析 对 吧 ? 
B 1, packrat 语法 分 析 会 先 将 数据 存 于 内 存 ( BD memoization 处 理 )， 不 会 循环 回溯 同一 段 逻 

辑 ， 因 此 分 析 性 能 依然 是 线性 的 ， 并 没有 在 不 停 地 费力 回溯 哦 。 

D 只 要 在 分 析 过 程 中 经 过 一 次 ,该 箭头 及 之 后 的 处 理 结果 都 将 全 部 记录 在 案 。 因 此 同一 条 分 支 

无 需 反 复 计算 判断 。 

恩 ， 如 果 在 源 代码 中 的 位 置 及 箭头 与 之 前 相同 ， 就 不 必 重 新 执行 一 遍 了 。 

|， 真 糟糕 ， 感 觉 要 占用 大 量 内 存 。 

现在 内 存 容量 不 断 增加 ， 这 种 分 析 方 式 也 有 了 实用 价值 。 

这 种 算法 虽然 很 耗 内 存 ， 但 分 析 能 力 很 强 。 即 使 单词 是 由 单个 字符 构成 的 ， 执 行 速度 也 相当 

快 哦 。 下 面 这 样 的 语法 定义 也 完全 没 问题 。 
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D] 如 果 单 词 都 是 由 单个 字符 构成 的 ，LL(1) 就 无 能 为 力 了 。 因 此 这 是 一 个 很 重要 的 优势 。 
回 如 果 一 个 字符 就 能 构成 一 个 单词 ， 我 们 就 不 需要 词法 分 析 器 了 。 觉 得 哪 种 情况 更 好 啊 ? 
如 果 可 以 不 设计 词法 分 析 器 ， 肯 定 是 不 设计 比较 好 咯 。 
回 如 果 语 言 可 以 根据 上 下 文 改变 标识 符 的 含义 就 好 了 。 
图 AspectJ 之 类 的 能 够 实现 这 个 要 求 。AspectJ 提供 了 切入 点 的 概念 。 假 设 有 一 个 切入 点 
foo*bar， 由 于 其 中 含有 通配符 * ， 因 此 fooxbat 将 被 整个 识别 为 独立 的 标识 符 。 对 于 
L 他 情况 ，* 都 用 于 表示 乘 号 。 也 就 是 说 它 被 分 解 为 了 foo、* 5 bar 这 三 个 单词。 J 































































































































































































LL 语法 分 析 需 要 根据 预 读 结果 决定 之 后 的 箭头 走向 。 如 果 不 习惯 这 种 算法 ， 可 能 会 有 些 难 
以 理解 。 为 了 理解 LL 语法 分 析 算法 ， 我 们 可 以 列举 所 有 符合 语法 规则 、 有 可 能 接着 出 现 的 单 
词 。 由 于 各 条 语法 规则 间 可 能 相互 依赖 ， 因 此 我 们 在 列举 可 能 的 情况 时 必须 多 加 小 心 。 如 果 箭 头 
一 端 是 非 终结 符 ， 我 们 还 要 考虑 该 非 终 结 符 之 后 连接 的 会 是 什么 单词 。 

在 设计 语法 分 析 器 程序 时 还 可 能 出 现下 面 这 样 的 错误 。 明 明 仅 靠 一 次 预 读 无 法 判断 箭头 的 走 
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向 ， 却 误 以 为 能 够 确定 分 支 路 线 ， 最 终 导 致 语法 分 析出 错 。 因 此 ， 我 们 必须 仔细 检查 ， 避 免 出 现 
这 种 问题 。 


区 受 兴 、 算 符 优先 分 析 法 与 自 底 向 上 语法 分 析 


LL 语法 分 析 是 一 种 典型 的 自 顶 向 下 语法 分 析 算 法 。LR 语法 分 析 则 是 一 种 具有 代表 性 的 自 
底 向 上 语法 分 析 算 法 。 由 于 LR 语法 分 析 较 为 复杂 ， 我 们 将 介绍 男 一 种 名 为 算 符 优 先 分 析 法 的 算 
法 。 这 种 算法 非常 简单 ， 甚 至 已 经 脱离 了 自 底 向 上 语法 分 析 的 范畴 。 

顾名思义 ， 算 法 优先 分 析 法 ( operator precedence parsing ) 是 一 种 基于 运算 符 优先 级 的 语法 分 
析 算 法 。 它 是 LR(1) 的 弱化 版 本 ， 类 似 于 一 种 至 多 预 读 一 次 的 LR 语法 分 析 算 法 ， 因 此 只 能 对 数 
学 运算 之 类 的 简单 语句 执行 语法 分 析 ， 而 不 会 被 单独 用 于 通常 的 程序 设计 语言 语法 分 析 。 

不 过 ， 由 于 这 种 算法 非常 适合 对 数学 算式 执行 语法 分 析 ， 因 此 基于 其 他 方法 的 语法 分 析 器 常 
会 结合 使 用 算法 优先 分 析 法 ， 专 门 对 表达 式 执行 语法 分 析 。 算 符 优先 分 析 法 不 仅 能 用 于 自 底 向 上 
语法 分 析 需 ， 也 能 伐 入 自 顶 向 下 语法 分 析 需 中 使 用 。 事 实 上 ， 本 书 使 用 的 Parser 库 也 在 一 定 程 
度 上 利用 了 算 符 优先 分 析 法 。 

接 下 来 ， 我 们 看 一 下 如 何在 LL 语法 分 析 这 种 自 顶 向 下 分 析 法 中 结合 使 用 算 符 优先 分 析 法 。 
算 符 优先 分 析 法 其 实 能 同时 对 双 目 运算 符 及 括号 等 字符 执行 语法 分 析 ， 不 过 我 们 在 此 将 仅 用 算法 
优先 分 析 法 来 处 理 双 目 运算 符 。 其 他 诸如 factor (因子 ) 等 成 分 将 交 由 LL 语法 分 析 执 行 。 
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| 四 为 什么 要 费 这 么 大 劲 儿 使 用 算 符 优先 分 析 法 呀 ? | 
I 肯定 还 是 为 了 给 我 们 讲解 它 的 原理 吧 ? 

| 回 不 ,我 这 么 决定 是 有 现实 原因 的 。 J 


, w 





将 算 符 优先 分 析 法 与 LL 语法 分 析 ， 尤 其 是 递归 下 降 语法 分 析 器 结合 后 ， 双 目 运 算 表 达 式 的 
分 析 程 序 将 变 得 非常 简单 。 代 码 清单 16.1 中 含有 两 种 用 于 处 理 双 目 运算 的 非 终结 符 ， 其 中 非 终 
结 符 expression 表示 加 减法 算式 ，term 表示 乘除 法 算式 。 这 种 设计 是 为 了 区 分 运算 符 之 间 的 
优先 级 。 

通常 ， 抽 象 语 法 树 的 节点 与 语法 规则 中 的 非 终结 符 对 应 。 为 了 表现 运算 符 之 间 的 优先 级 ， 与 
含有 较 高 优先 级 运算 符 的 表达 式 对 应 的 节点 将 位 于 更 接近 抽象 语法 树叶 节点 的 位 置 。 反 之 ， 如 果 
节点 对 应 的 表达 式 中 运算 符 优 先 级 较 低 ， 该 节点 就 会 更 靠近 根 节点 。 为 了 实现 这 一 机 制 ， 语 法 规 
则 将 使 各 个 运算 符 两 侧 的 表达 式 都 具有 比 该 运算 符 更 高 的 优先 级 。 对 于 本 例 来 说 , 运算 符 +、- 的 
两 侧 是 term, term 表达 式 中 含有 运算 符 * 与 /， 具 有 更 高 的 优先 级 。 

因此 ， 随 着 具有 不 同 优先 级 的 运算 符 的 增加 ， 话 法 规则 也 会 相应 变 得 复杂 。 递 归 下 降 语 法 分 
析 器 将 为 每 一 条 语法 规则 定义 一 个 方法 ， 于 是 语法 分 析 器 中 将 同时 存在 大 量 相 似 的 方法 。 例 如 ， 
代码 清单 16.3 除了 四 则 运算 ， 还 包含 了 其 他 运算 符 的 语法 规则 。 语 法 规则 的 数量 与 优先 级 的 数 
量 一 致 。 因 此 ， 语 法 分 析 器 中 也 含有 相同 数量 的 类 似 方法 。 
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只 要 语法 分 析 咒 结合 使 用 了 算 符 优先 分 析 法 ， 就 能 避免 这 样 的 问题 。 
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我 们 来 看 一 个 例子 。 代 


码 清单 16.4 改写 了 代码 清单 16.2 中 的 递归 下 降 语法 分 析 器 的 程序 ， 将 双 目 运算 符 处 理 逻 辑 蔡 换 





为 了 算 符 优先 分 析 法 ， 并 添加 了 用 于 测试 的 main 方法 。 
含有 不 同 优先 级 运算 符 的 表达 式 





factor: NUMBER | "(" expression ")" 

term: factor { ("*" | "/") factor ] 

add expr: term ( ("«" | "-") term ] 

rel expr: add expr ( ("«" | ">") add expr } 
eq expr: rel expr { ("==" | "!=") rel expr } 
and expr: eq expr { "&&" eq expr } 

or expr: and expr ( "||" and expr ] 





COEM HR TSAULAOUGEB]BIEA WS (OpPrecedenceParser.java ) 





package chapB; 
import java.util.Arrays; 


import 
import 
import 


java.util.HashMap; 
stone.*; 
stone.ast.*; 


public class OpPrecedenceParser { 
private Lexer lexer; 
protected HashMap«String,Precedence» operators; 


public static class Precedence { 
int value; 
boolean leftAssoc; // left associative 
public Precedence(int v, boolean a) ( 
value - v; leftAssoc - a; 
} 
} 
public OpPrecedenceParser (Lexer p) { 
lexer = p 


operators = new HashMap«String,Precedence-»(); 


operators.put("«", new Precedence(1, true)); 
operators.put("»", new Precedence(1, true)); 
operators.put("«", new Precedence(2, true)); 
operators.put("-", new Precedence(2, true)); 
operators.put("*", new Precedence(3, true)); 
operators.put("/", new Precedence(3, true)); 
operators.put("^", new Precedence(4, false)); 


) 


public ASTree expression() throws ParseException { 
ASTree right - factor(); 
Precedence next; 
while ((next - nextOperator()) !- null) 
right - doShift(right, next.value); 


return right; 


) 


private ASTree doShift(ASTree left, int prec) throws ParseException { 
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ASTLeaf op = new ASTLeaf (lexer.read()); 

ASTree right - factor(); 

Precedence next; 

while ((next - nextOperator()) !- null && rightIsExpr(prec, next)) 
right - doShift(right, next.value); 





return new BinaryExpr(Arrays.asList(left, op, right)); 
) 
private Precedence nextOperator() throws ParseException ( 
Token t - lexer.peek(0); 
if (t.isIdentifier()) 
return operators.get(t.getText()); 
else 
return null; 
) 
private static boolean rightIsExpr(int prec, Precedence nextPrec) { 
if (nextPrec.leftAssoc) 
return prec « nextPrec.value; 
else 
return prec «s nextPrec.value; 


) 


public ASTree factor() throws ParseException { 





if (isToken("(")) ( 
token("("); 
ASTree e - expression(); 
token(")"); 
return e; 
} 
else { 
Token 七 = lexer.read(); 
if (t.isNumber()) ( 
NumberLiteral n - new NumberLiteral(t); 
return n; 
} 
else 


throw new ParseException (t); 
void token (String name) throws ParseException { 
Token t = lexer.read(); 
if (!(t.isIdentifier() && name.equals(t.getText()))) 
throw new ParseException (t); 
boolean isToken (String name) throws ParseException { 
Token t = lexer.peek (0); 
return t.isIdentifier() && name.equals (七 .getText () ) ; 
public static void main(String[] args) throws ParseException { 
Lexer lexer - new Lexer(new CodeDialog()); 
OpPrecedenceParser p = new OpPrecedenceParser (lexer); 
ASTree t - p.expression(); 
System.out.println("-» " + t); 
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代码 清单 16.2 与 代码 清单 16.4 的 主要 区 别 在 于 expression 方 法 。 代 码 清单 16.4 中 
HJ expression 方法 使 用 了 doshift、nextOperator 及 rightIsExpr 这 三 个 辅助 方法 , 并 
日 移 除了 代码 清单 162 中 含有 的 term 方法 。factor 方法 、token 方法 及 isToken 方法 则 没 
有 变化 。 

由 于 代码 清单 16.4 中 的 语法 分 析 器 使 用 了 算 符 优先 分 析 法 ， 因 此 我 们 能 很 容易 地 为 语法 规 
则 添加 双 目 运算 符 。 在 添加 新 的 运算 符 时 ， 我 们 无 需 新 增 term 之 类 的 方法 ， 只 需 将 运算 符 添 加 
至 operators 字段 即 可 。 这 里 的 operators 字段 是 一 张 运算 符 表 。 事 实 上 ， 代 码 清单 16.4 中 根 
本 就 没有 term 方法 。 

运算 符 表 由 哈 希 表 实现 。 其 中 , 键 名 是 运算 符 的 名 称 , 与 之 对 应 的 值 是 一 个 Precedence 对 
象 。Precedence 类 的 构造 困 数 的 第 一 个 参数 用 于 接收 运算 符 的 优先 级 。 优 先 级 由 一 个 大 于 零 
的 整数 表示 ， 数 值 越 大 ， 优 先 级 就 越 高 。 第 二 个 参数 用 于 标识 运算 符 采 用 的 是 左 结合 还 是 右 结 
合 。 如 果 该 值 为 true， 就 表示 这 是 一 个 左 结 合 的 运算 符 。 




























































































(n 所 以 说 ， 算 符 优先 分 析 法 具体 是 怎样 执行 的 呢 ? | 
MEAD MARRAREN ( 递归 定义 ) 

factor: NUMBER | "(" expression ")" 

term: factor | term ("*" | "/") factor 

expression: term | expression ("+" | "-") term 





expression 方 法 的 执行 方式 如 下 。 现 假设 对 于 代码 清单 16.5 所 示 的 语法 规则 ， 我 们 有 以 
下 单词 序列 。 


NUMBER "+" NUMBER "*" NUMBER 








这 也 是 一 条 由 BNF 终结 符 组 成 的 序列 。 虽 然 上 面 的 语法 规则 包含 递归 ,但 它 的 实际 含义 与 
代码 清单 16.1 所 示 的 语法 规则 相同 。 

在 对 这 条 单词 序列 执行 语法 分 析 时 ， 我 们 必须 能 够 识别 左 起 第 2 A NUMBER 究竟 是 其 左 
侧 + 运算 符 的 右 操 作 数 ， 还 是 右 侧 * 运算 符 的 左 操作 数 。 算 符 优 先 分 析 法 将 通过 比较 左右 两 个 
运算 符 的 优先 级 来 解决 这 个 问题 。 代 码 清单 16.4 中 ，dosShift 方法 内 while 语句 的 条 件 表达 
式 用 于 执行 这 一 判断 。 如 果 rightIsExpr 方法 的 返回 值 为 true， 中 间 的 NUMBER 就 是 右 侧 运 
算 符 的 左 操作 数 。 

在 上 例 中 ，* 运算 符 的 优先 级 较 高 ， 因 此 第 二 个 NUMBER 是 其 右 侧 * 的 左 操作 数 。 整 个 乘法 
表达 式 是 + 运算 符 的 右 操 作 数 。 

自 底 向 上 分 析 算 法 将 相 邻 单词 合并 为 子 表达 式 ， 再 将 相 邻 的 子 表 达 式 合并 为 表达 式 ， 逐 步 构 
造 完整 的 结构 。 中 途 创建 的 子 表达 式 能 在 语法 规则 中 找到 对 应 的 非 终结 符 。 如 果 单 词 或 子 表达 式 
序列 与 其 个 非 终结 符 的 模式 匹配 ， 序 列 就 将 被 合并 ， 作 为 与 该 非 终 结 符 对 应 的 子 表达 式 。 在 上 例 
中 ,单词 及 子 表达 式 的 合并 过 程 如 下 所 示 。 
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NUMBER "+" NUMBER "*" NUMBER 
Faceterm ERESSEOS EE 
term "EN term nx Eactor 
expression "«" term 
expression 


例如 ， 由 于 单词 NUMBER 与 非 终结 符 factor 的 模式 匹配 ， 因 此 NUMBER 能 够 被 视 为 
与 factor 对 应 的 子 表达 式 。 为 了 表现 这 种 对 应 关系 ,第 2 行 用 factor 替换 了 上 一 行 中 出 现 的 
所 有 NUMBER。 类似 地 , 第 4 行将 第 3 行 右 侧 的 三 个 单词 蔡 换 为 了 一 个 term。 同 时 , 第 3 行 左 侧 
的 term 被 蔡 换 为 了 expression。 之 所 以 能 够 这 样 奉 换 ， 是 因为 原来 的 单词 与 相应 的 非 终结 符 
匹配 。 如 上 例 所 示 ， 在 语法 分 析 器 将 所 有 单词 最 终 合 并 为 一 个 非 终结 符 后 ， 语 法 分 析 结 束 。 

查找 与 模式 相 匹 配 的 单词 序列 ， 并 将 其 替换 为 非 终结 符 的 操作 称 为 归 约 (reduce )。 除 非 语 法 
特别 简单 ， 否 则 语法 分 析 需 不 应 在 执行 分 析 时 ， 没 有 章法 地 任意 寻找 与 模式 匹配 的 序列 。 例 如 ， 
在 上 面 的 例子 中 ， 从 第 3 行 起 也 能 采用 以 下 归 约 方式 。 


term "e." term "*" factor 























expression "4" term "*" factor 
expression VEGE EOR 














如 果 采 用 这 种 方式 ， 归 约 将 提前 在 中 途 结 束 。 没 有 模式 能 与 最 后 一 行 的 单词 序列 匹配 。 之 所 
以 出 现 这 种 结果 ， 是 由 于 该 方式 首先 归 约 了 + 运算 符 及 其 两 侧 的 三 个 单词 。 由 这 次 归 约 创建 的 抽 
象 语法 树 中 ，+ 运算 符 的 优先 级 高 于 * 运算 符 ， 逻辑 整个 错 了 。 我 们 在 制定 语法 规则 时 ， 应 事先 
考虑 到 这 一 问题 ， 使 归 约 操作 在 遇 到 这 类 语法 分 析 不 当 的 情况 时 无 法 顺利 完成 。 





















































LT 




















ETE. 
中 完成 了 所 有 归 约 的 方法 。 
| B 没 错 。 不 过 计算 机 科学 存在 的 意义 就 是 为 了 找 出 更 加 合理 高 效 的 解决 方法 呀 。 3 


b) 









































大 部 分 语法 分 析 算 法 都 试图 从 前 往 后 逐一 读 取 单词 序列 ， 并 依次 执行 归 约 。 这 些 算法 不 会 
从 后 入 前， 或 一 次 读 取 全 部 单词 。 因 此 ， 每 读 取 一 个 新 的 单词 后 ， 只 可 能 有 三 种 结果 : 该 单词 符 
合 某 种 模式 的 最 后 一 部 分 ， 单 词 序 列 将 归 约 为 该 模式 ; 该 单词 是 某 种 模式 的 起 始 部 分 ; 该 单词 处 
于 某 种 模式 的 中 段 。 其 中 ， 后 两 种 结果 称 为 移 进 ( shift )。 

在 上 例 中 ,语法 分 析 器 在 读 取 左 起 第 二 个 单词 NUMBER 后 ， 立 即将 其 归 约 为 了 factor 
与 term。 之 后 ， 新 得 到 的 term 有 两 种 可 能 的 合并 方式 。 它 既 可 以 与 左 侧 的 + 运算 符 共 同 作 
为 非 终 结 符 expression 模式 的 末尾 部 分 进行 归 约 ， 也 能 与 右 侧 的 * 运算 符 一 起 充当 非 终结 
符 term 模式 的 起 始 部 分 进行 移 进 。 

算 符 优先 分 析 法 将 在 读 取 单词 后 比较 其 前 后 运算 符 的 优先 级 ， 并 以 此 决定 执行 归 约 还 是 移 
进 操作 。 由 于 比较 方式 较为 简单 ， 因 此 这 种 算法 只 适用 于 对 数学 算式 执行 语法 分 析 ， 难 以 应 对 其 
他 类 型 的 表达 式 。 同 为 自 底 向 上 方式 的 LR 语法 分 析 采 用 了 更 复杂 的 方式 来 选择 操作 ， 因 而 能 对 
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更 复杂 的 语法 规则 进行 分 析 。 

在 上 例 中 ，* 运算 符 的 优先 级 更 高 ， 因 此 语法 分 析 器 在 读 取 左 起 第 二 个 单词 NUMBER 后 应 
当 执 行 移 进 操作 。 只 需 递 归 调 用 代码 清单 16.4 中 的 doshift 方法 就 能 实现 移 进 。 语 法 分 析 带 
原本 正在 匹配 非 终 结 符 expression 的 模式 ， 此 时 该 匹配 将 暂时 中 断 ， 以 执行 方法 的 递归 调 
JH. dosnift 方法 的 递归 调用 结束 后 ( * 运算 符 被 归 约 为 Etezm 后 )， 匹 配 将 重新 开始 。 在 代码 
清单 16.4 rH, aoshift 方法 在 执行 完成 后 将 返回 原 调 用 处 ， 这 即 是 归 约 操作 。 















































「 说 到 蛮 力 法 ， 前 面 提 到 的 packrat 语法 分 析 就 是 使 用 了 变 力 法 呢 。 | 
图 咽 ， 话 是 没 错 ， 不 过 那 种 算法 只 要 遇 到 了 一 种 可 能 的 路 径 就 会 结束 查找 了 。 
可 能 的 路 径 ? 

E] 就 是 铁路 图 中 箭头 的 轨迹 。 可 能 的 路 径 就 是 中 途 不 会 中 断 ， 能 够 不 发 生 语法 错误 一 路 走 到 最 

后 的 路 径 。 

O 如 果 语 法 有 歧义 ， 就 可 能 存在 多 条 可 能 路 径 。 第 一 条 符合 条 件 的 路 径 将 成 为 分 析 的 结果 。 

这 样 也 可 以 吗 ? | 

B 咽 ， 就 算 有 歧义 也 很 难 发 现 不 是 吗 ? 不 过 LR 语法 分 析 能 识别 shift/reduce conflict 之 类 的 

错误 。 

B 但 要 调试 shift/reduce conflict 可 让 人 头 大 了 。 

回 F 君 ， 比 起 直接 发 布 含有 歧义 的 语法 ， 多 花 点 力气 调试 并 执行 类 型 检查 才 更 好 呀 。 

[3 如 果 使 用 Packrat 语法 分 析 ， 我 们 可 以 通过 PEG (Parsing Expression Grammar ) 来 定义 语 
法 ， 明 确 规定 该 以 怎样 的 顺序 来 尝试 通过 哪些 路 径 。 这 样 一 来 ， 就 算 存在 多 条 可 能 的 路 径 ， 
我 们 也 能 明确 知道 首先 找到 的 将 是 哪 一 条 。 

回 哦 ， 所 以 没有 用 | 而 是 用 了 / 呢 。 


















































































































































































































































































































































O 不 过 使 用 PEG 之 后 ， 虽 然 语 法 不 再 有 歧义 ， 但 由 PEG 定义 的 语法 是 否 符合 最 初 的 设计 意图 
E 就 不 得 而 知 了 。 这 需要 我 们 另外 考虑 。 J 
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英勇 事迹 


设 赶 上 考试 的 开始 时 
间 呢 ~ 


e CR d 
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17 Parser 库 的 内 部 结构 


本 书 在 设计 语法 分 析 器 程序 时 利用 了 Parser 库 。 第 5 章 ( 第 5 天 ) 已 经 介绍 了 该 库 的 基本 用 
法 ,但 没有 讲解 它 的 内 部 结构 。 本 章 将 通过 Parser 库 的 源 代码 ， 讲 解 它 的 内 部 结构 。 

在 设计 LL 语法 分 析 程 序 时 ， 我 们 常会 遇 到 类 似 的 代码 模式 。Parser 库 将 这 些 反复 出 现 的 相 
似 代码 打包 成 库 ， 语 法 分 析 絮 只 需 按 需 调 用 库 的 方法 即 可 执行 关键 的 语法 分 析 操 作 。 这 是 一 种 极 
为 简单 的 解析 器 组 合子 ( parser combinator ) 库 。 


EAA 组 合子 分 析 

组 合子 ( combinator ) 是 一 个 由 组 合子 逻辑 ( combinatory logic ) 衍生 而 来 的 概念 。 组 合子 是 
一 种 高 阶 函 数 ， 它 将 接收 否 干 函数 作为 参数 ， 并 返回 它们 的 组 合 。 此 外 ， 组 合子 不 含 自由 变量 
(组 合子 的 定义 中 只 能 使 用 参数 )。 

Y-combinator ( fixed-point combinator ) 是 一 种 著名 的 组 合子 ， 用 于 表述 递归 计算 。 由 于 组 合 
子 无 法 在 定义 中 使 用 指 代 自 身 的 (自由 变量 ) 名 称 ， 因 此 无 法 显 式 地 表述 递归 调用 。Y-combinator 
通过 某 种 形式 表现 了 递归 逻辑 ， 是 一 种 非常 引 人 注 目的 组 合子 。 

组 合子 分 析 原 本 是 Haskell 这 类 函数 型 语言 中 的 一 种 程序 设计 技巧 。 将 多 个 能 对 简单 语法 执 
行 语法 分 析 ( parsing ) 的 函数 进行 组 合 后 ， 我 们 就 能 获得 一 个 能 够 对 更 复杂 的 语法 进行 分 析 的 新 
的 函数 。 我 们 将 这 种 能 够 执行 简单 语法 分 析 的 苑 数 作为 参数 ， 将 其 组 合 后 返回 能 够 执行 复杂 语法 
分 析 的 函数 称 为 解析 器 组 合子 。 







































































( p] 老师 ， 解 析 器 组 合子 和 Y-combinator 什么 的 有 关系 吗 ? | 
B 先 不 管 它 与 跟 函 数 型 语言 有 多 少 关 系 ， 毕 竟 parser 库 是 用 于 Java 语言 的 ， 内 部 逻辑 肯定 大 
幅 简化 了 呀 ， 并 不 高 深 。 
| 四 说 到 底 ， 就 是 在 拿 些 玄妙 难 懂 的 概念 糊弄 我 们 嘛 。 


H Parser 库 实现 的 Java 版 组 合子 分 析 非 常 简 单 。 它 将 组 合 多 个 能 够 执行 简单 语法 分 析 的 
对 象 ， 并 以 此 新 建 一 个 能 够 执行 较 复杂 语法 分 析 的 对 象 。 本 章 组 合 的 并 非 函 数 ， 而 是 对 象 。 库 提 
供 了 一 些 基 本 的 类 ， 帮 助 实现 用 于 执行 语法 分 析 的 对 象 。 库 的 使 用 者 只 要 创建 必需 的 对 象 ， 并 将 
其 组 合 ， 就 能 得 到 所 需 的 语法 分 析 器 。 

















































































































D 解析 器 组 合子 的 内 部 
本 章 末 尾 的 代码 清单 17.1 是 Parser 库 的 源 程序 。 该 库 与 其 他 一 些 复杂 的 库 不 同 ， 源 程序 
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的 规模 很 小 ， 主 要 的 类 就 只 有 一 个 Parser 类 。 不 过 , 在 阅读 源码 后 我 们 不 难 发 现 ，Parset 类 
还 含有 Element 类 等 不 少 和 能 套子 类 (图 17.1 )。 
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match 
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Parser ž p & & f e T 3e 





这 些 般 套子 类 用 于 表现 Parser 对 象 需要 处 理 的 语法 规则 模式 。 语 言 处 理 需 在 将 语法 规则 
转换 为 Parser 对 象 时 ,会 调用 number 或 ast 等 方法 来 构造 模式 。 这 些 方法 将 创建 Parser 类 
中 能 套子 类 的 对 象 ， 并 将 它们 添加 至 Parser 对 象 的 elements 字段 指向 的 ArrayList 对 象 
中 。 例 如 ，ast 方法 将 创建 一 个 Tree 对 象 ， 并 将 其 添加 至 ArrayList 中 。 

Parser 类 的 parse 方法 将 根据 构造 的 模式 执行 语法 分 析 。 它 主要 采用 LL 语法 分 析 方 式 ， 
并 根据 需要 ， 部 分 使 用 了 算 符 优先 分 析 法 。 

Parser 类 中 骸 套 子 类 的 对 象 将 被 添加 至 elements 字段 指向 的 ArrayList 对 象 中 。 这 些 
新 增 的 对 象 共同 表现 了 铁路 图 的 线路 关系 。 铁 路 图 是 一 种 语法 规则 的 表述 方式 ， 已 在 之 前 的 第 4 
章 ( 第 4 天 ) 中 与 BNF 一 同 介绍 过 。 

例如 ,图 17.2 通过 Parser 类 及 其 静 套 子 类 的 对 象 来 表现 第 4 章 图 4.6 中 铁路 图 的 局 部 。 对 
象 的 构造 程序 如 下 所 示 。 


Parser factor = rule().or(rule().sep("(").ast(expr).sep(")"), rule().number()); 




















不 难看 出 ， 语 言 处 理 需 构造 的 对 象 之 间 的 关系 与 铁路 图 颇 为 相似 。 铁 路 图 中 箭头 分 文 能 够 
由 OrTree 对 象 表示 。 左 括号 、 表 达 式 、 右 括号 组 成 的 序列 分 别 能 由 elements 字段 中 的 元 
素 Skip. Tree 与 Skip 这 三 个 对 象 表 示 。 

Parser 类 的 parse 方法 能 够 遍历 这 种 形式 的 铁路 图 的 同时 执行 语法 分 析 。 这 就 如 同 词法 
分 析 絮 能 够 一 边 遍历 自动 机 ， 一 边 执行 词法 分 析 。parse 方法 采用 的 是 LL 语法 分 析 方式 。 上 一 
章 提 到 过 ，LL 语法 分 析 的 执行 方式 与 帝 历 自动 机 实现 的 词法 分 析 非 常 相似 。 

parse 方 法 将 从 词法 分 析 器 接收 单词 ， 遍 历 铁路 图 中 的 往 头 ,确认 整 条 路 径 是 否 能 够 走 通 。 























图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) 专 享 尊重 版 权 


254 | 第 17 天 Parser 库 的 内 部 结构 























如 果 不 能 ， 则 会 发 生 语法 错误 ， 如 果 能 走 通 ， 表 示 语 法 分 析 成 功 ， 于 是 parse 方法 将 创建 并 返 
回 相 应 的 抽象 语法 树 。 我 们 能 够 通过 反复 调用 Parser 类 的 能 套子 类 的 parse 方 法 ,来 判断 箭 
头 路 径 是 否 被 正确 遍历 。 词 法 分 析 器 提供 的 单词 最 终 由 般 套 子 类 的 parse 方法 接收 ， 于 是 我 们 
可 以 借 此 判断 ， 这 些 子 类 自身 表示 的 终结 符 或 非 终 结 符 是 否 与 接收 的 单词 匹配 。 如 果 不 匹 配 ， 就 
说 明 存 在 语法 错误 ，parse 方法 将 抛 出 异常 。 

RETIRI parse 方法 通常 上 只 能 完成 极为 简单 的 语法 分 析 。 但 Expr 类 的 parse 是 
个 例外 ， 它 能 执行 较 复 杂 的 分 析 。 该 类 的 对 象 由 Parser 类 的 expression 方 法 添 
Jlo Expr 的 parse 方法 将 通过 算 符 优 先 分 析 法 对 表达 式 执行 语法 分 析 。 不 过 ， 由 于 因子 部 分 将 
由 其 他 舰 套子 类 对 象 的 parse 方法 完成 ， 因 此 Expr 类 复杂 的 分 析 并 不 算 太 复杂 。 
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m Rc, SORCTORUUDM SGEBUEGR ADAE S EE BE, 我 们 将 组 合 这 些 对 象 来 实现 希望 的 语法 | 
分 析 对 吧 ? 
B 每 一 个 组 件 都 只 能 执行 非常 简单 的 分 析 。 
回 于 是 ， 语 法 分 析 最 终 变 为 了 一 种 单调 的 处 理 ， 语 法 分 析 器 只 需 逐 
语法 规则 即 可 。 
B 还 要 根据 这 一 确认 操作 构造 抽象 语法 树 。 
B 要 这 么 说 的 话 ， 不 断 接 收 的 单词 可 能 存在 多 种 可 能 的 匹配 情况 ， 而 这 也 是 确认 操作 要 解决 的 
| 问题 ， 可 没有 想象 中 那么 容易 。 | 
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认 接 收 的 单词 是 否 符合 
























































在 Parser 类 的 能 套子 类 提供 的 parse 方 法 中 ， 最 重要 的 是 orTree 类 的 parse 方 
法 。Parser 类 的 or 方法 将 使 用 OrTree 来 实现 或 运算 逻辑 。 它 与 铁路 图 中 的 箭头 分 支 对 应 ， 
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不 过 该 方法 需要 确定 箭头 的 走向 。 

如 有 必要 ，LL 语法 分 析 将 预 读 单词 ， 以 确定 箭头 的 走向 。 也 就 是 说 ， 语 法 分 析 需 将 事先 
调查 之 后 将 接收 什么 单词 ， 并 选择 能 够 成 功 执行 语法 分 析 ( 不 发 生 语 法 错误 ) 的 路 径 。 该 操作 
由 Parser 类 及 其 能 套子 类 的 match 方法 执行 。 

通过 or 方法 的 参数 传递 的 Parser 对 象 将 被 orTree 对 象 接 收 ， 作 为 可 用 的 分 支 选 
Jii; OrTree XZH parse 方法 在 调用 后 ， 将 首先 依次 调用 与 各 个 分 支 选 项 对 应 的 Parser 对 
象 的 match 方法 。match 方法 将 预 读 一 个 单词 ， 并 将 读 取 的 单词 与 自身 表示 的 模式 的 头 部 进行 
匹配 ， 返 回 匹配 结果 。 如 果 match 方法 返回 真 ，OrTree 对 象 就 会 选择 该 Parser 对 象 ， 并 调 
用 该 对 象 的 parse 方法 ， 继 续 执 行 语法 分 析 。match 方法 在 遇 到 第 一 个 符合 条 件 的 Parser 对 
象 后 就 会 停止 匹配 ， 不 再 检查 之 后 的 选项 。 












































( B 这 中 上 一 章 最 后 提 到 的 PEG lb. 1 











由 于 OrTree 类 的 parse 方法 采用 了 这 种 方式 来 选择 Parser 对 象 , 因此 Parse 类 
的 or 方法 的 执行 逻辑 与 BNF 中 | (或 关系 ) 稍 有 差异 。 于 是 ， 在 通过 Parser 库 执行 语法 分 析 
时 存在 一 些 限 制 条 件 。 需 要 分 析 的 语法 必须 能 够 仅 通 过 一 次 单词 预 读 ， 就 完全 确定 分 支 选项 的 选 
择 。 也 就 是 说 ， 并 不 是 所 有 由 BNF 表述 的 语法 定义 都 能 通过 这 种 方式 完成 语法 分 析 。 此 外 ， 如 
果 同 时 存在 多 种 选项 , 每 个 选项 头 部 的 终结 符 必 须 不 同 。 不 仅 是 or 方法 , repeat 及 option 7; 
法 也 必须 遵循 这 一 规定 。 用 于 表示 循环 范围 的 语法 规则 必须 以 终结 符 起 始 ， 且 该 终结 符 不 能 与 循 
环 结束 后 遇 到 的 终结 符 相 同 。 这 样 一 来 ， 语 法 分 析 器 只 需 预 读 一 个 单词 ， 就 能 确定 是 否 应 该 继续 
执行 循环 。 




































































「 感觉 最 后 的 最 后 讲 了 Parser 库 的 一 些 关 键 限 制 呢 。 j 
B 毕竟 超出 限制 的 话 就 麻烦 了 。 
H JB, Scala 的 解析 器 组 合子 可 是 会 采用 更 强大 的 方式 来 选择 分 支 。 

| 加 话 是 没 错 …… 不 过 Stone 语言 用 这 种 程度 的 方法 就 足够 了 。 J 



















































































EA Parserjava 


package stone; 





import java.util.HashMap; 

import java.util.HashSet; 

import java.util.List; 

import java.util.ArrayList; 

import java.lang.reflect.Method; 
import java.lang.reflect.Constructor; 
import stone.ast.ASTree; 

import stone.ast.ASTLeaf; 

import stone.ast.ASTList; 








public class Parser { 
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protected static abstract class Element { 
protected abstract void parse(Lexer lexer, List«ASTree» res) 
throws ParseException; 
protected abstract boolean match(Lexer lexer) throws ParseException; 


) 


protected static class Tree extends Element { 
protected Parser parser; 
protected Tree(Parser p) ( parser = p; } 
protected void parse(Lexer lexer, List«ASTree» res) 
throws ParseException 


res.add(parser.parse(lexer)); 
protected boolean match(Lexer lexer) throws ParseException { 
return parser.match(lexer); 


) 


protected static class OrTree extends Element { 
protected Parser[] parsers; 
protected OrTree(Parser[] p) { parsers = p; } 
protected void parse(Lexer lexer, List«ASTree» res) 
throws ParseException 


Parser p = choose (lexer); 
if (p -- null) 
throw new ParseException(lexer.peek(0)); 
else 
res.add(p.parse(lexer)); 
) 
protected boolean match(Lexer lexer) throws ParseException { 
return choose(lexer) !- null; 
) 


protected Parser choose(Lexer lexer) throws ParseException { 
for (Parser p: parsers) 
if (p.match(lexer)) 
return p; 


return null; 

) 

protected void insert(Parser p) { 
Parser[] newParsers = new Parser[parsers.length + 1]; 
newParsers[0] = p; 
System.arraycopy(parsers, 0, newParsers, 1, parsers.length); 
parsers - newParsers; 


) 


protected static class Repeat extends Element { 
protected Parser parser; 
protected boolean onlyOnce; 
protected Repeat (Parser p, boolean once) { parser = p; onlyOnce = once; ] 
protected void parse(Lexer lexer, List«ASTree» res) 
throws ParseException 
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while (parser.match(lexer)) { 
ASTree t - parser.parse(lexer); 
if (t.getClass() !- ASTList.class || t.numChildren() > 0) 
res.add(t); 
if (onlyOnce) 
break; 


protected boolean match(Lexer lexer) throws ParseException { 
return parser.match(lexer); 


protected static abstract class AToken extends Element { 
protected Factory factory; 
protected AToken(Class«? extends ASTLeaf» type) { 
if (type == null) 
type - ASTLeaf.class; 
factory - Factory.get(type, Token.class); 
protected void parse(Lexer lexer, List«ASTree» res) 
throws ParseException 
Token t - lexer.read(); 
if (test(t)) ( 
ASTree leaf = factory.make(t); 
res.add(leaf); 
else 
throw new ParseException(t); 
protected boolean match(Lexer lexer) throws ParseException { 
return test(lexer.peek(0)); 


) 


protected abstract boolean test(Token t); 


) 


protected static class IdToken extends AToken ( 
HashSet«String» reserved; 
protected IdToken(Class«? extends ASTLeaf» type, HashSet«String» r) { 
super (type) ; 
reserved = r !- null ? r : new HashSet«String»(); 





) 


protected boolean test(Token t) ( 
return t.isIdentifier() && !reserved.contains(t.getText()); 


) 


protected static class NumToken extends AToken { 
protected NumToken(Class«? extends ASTLeaf» type) { super(type); ] 
protected boolean test (Token t) [ return t.isNumber(); } 





) 


protected static class StrToken extends AToken { 
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protected StrToken(Class«? extends ASTLeaf» type) { super(type); } 
protected boolean test (Token t) ( return t.isString(); } 


) 


protected static class Leaf extends Element { 
protected String[] tokens; 
protected Leaf(String[] pat) ( tokens = pat; } 
protected void parse(Lexer lexer, List«ASTree» res) 
throws ParseException 
{ 
Token 七 = lexer.read(); 
if (t.isIdentifier()) 
for (String token: tokens) 


if (token.equals(t.getText())) { 
find(res, t); 
return; 


) 


if (tokens.length » 0) 
throw new ParseException(tokens[0] + " expected.", t); 
else 
throw new ParseException(t); 
} 
protected void find(List«ASTree» res, Token t) ( 
res.add(new ASTLeaf(t)); 
} 
protected boolean match(Lexer lexer) throws ParseException { 
Token t - lexer.peek(0); 
if (t.isIdentifier()) 
for (String token: tokens) 
if (token.equals(t.getText())) 
return true; 


return false; 


) 


protected static class Skip extends Leaf ( 
protected Skip(String[] t) { super(t); } 
protected void find(List«ASTree» res, Token t) {} 


) 


public static class Precedence ( 
int value; 
boolean leftAssoc; // left associative 
public Precedence(int v, boolean a) ( 
value - v; leftAssoc - a; 
} 
} 


public static class Operators extends HashMap«String,Precedence» { 
public static boolean LEFT - true; 
public static boolean RIGHT - false; 
public void add(String name, int prec, boolean leftAssoc) ( 
put (name, new Precedence (prec, leftAssoc)); 


) 
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) 


protected static class Expr extends Element ( 
protected Factory factory; 
protected Operators ops; 
protected Parser factor; 
protected Expr(Class«? extends ASTree» clazz, Parser exp, 
Operators map) 


factory = Factory.getForASTList(clazz); 
ops - map; 
factor s exp: 


) 


public void parse(Lexer lexer, List«ASTree» res) throws ParseException ( 


ASTree right - factor.parse(lexer); 
Precedence prec; 
while ((prec = nextOperator(lexer)) !- null) 


right - doShift(lexer, right, prec.value); 


res.add(right); 
private ASTree doShift(Lexer lexer, ASTree left, int prec) 
throws ParseException 


ArrayList«ASTree» list = new ArrayList«ASTree»(); 
list.add(left); 
list.add(new ASTLeaf (lexer.read())); 


ASTree right - factor.parse(lexer); 
Precedence next; 
while ((next - nextOperator(lexer)) !- null 


&& rightIsExpr(prec, next)) 
right - doShift(lexer, right, next.value); 


list.add(right); 
return factory.make (list); 
) 
private Precedence nextOperator(Lexer lexer) throws ParseException { 
Token 七 = lexer.peek(0); 
if (t.isIdentifier()) 
return ops.get(t.getText()); 
else 
return null; 
) 
private static boolean rightIsExpr(int prec, Precedence nextPrec) { 
if (nextPrec.leftAssoc) 
return prec « nextPrec.value; 
else 
return prec «e nextPrec,.value; 
) 
protected boolean match(Lexer lexer) throws ParseException { 
return factor.match(lexer); 


) 


public static final String factoryName - "create"; 
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protected static abstract class Factory { 
protected abstract ASTree make0 (Object arg) throws Exception; 
protected ASTree make (Object arg) { 
try { 
return make0 (arg); 
) catch (IllegalArgumentException e1) { 
throw el; 
) catch (Exception e2) { 
throw new RuntimeException(e2); // this compiler is broken. 
) 


protected static Factory getForASTList(Class«? extends ASTree» clazz) { 
Factory f = get(clazz, List.class); 
if (f -- null) 


f = new Factory() ( 
protected ASTree make0 (Object arg) throws Exception { 
List«ASTree» results = (List«ASTree»)arg; 
if (results.size() -- 1) 
return results.get(0); 
else 


return new ASTList (results); 


return f; 
protected static Factory get (Class<? extends ASTree» clazz, 
Class«?» argType) 


if (Glazz == null) 
return null; 
try ( 


final Method m = clazz.getMethod(factoryName, 
new Class«?»[] { argType jJ); 
return new Factory() { 
protected ASTree make0 (Object arg) throws Exception { 
return (ASTree)m.invoke (null, arg); 
) 


); 
) catch (NoSuchMethodException e) {} 
try ( 
final Constructor«? extends ASTree» c 
- clazz.getConstructor (argType); 
return new Factory() { 
protected ASTree make0 (Object arg) throws Exception { 
return c.newInstance (arg); 
) 





) catch (NoSuchMethodException e) { 
throw new RuntimeException(e); 


) 


protected List«Element» elements; 
protected Factory factory; 
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public Parser(Class«? extends ASTree» clazz) { 
reset(clazz); 

protected Parser (Parser p) { 
elements = p.elements; 
factory = p.factory; 

public ASTree parse (Lexer lexer) throws ParseException { 
ArrayList«ASTree» results = new ArrayList<ASTree>(); 
for (Element e: elements) 

e.parse (lexer, results); 


return factory .make (results); 
} 
protected boolean match (Lexer lexer) throws ParseException { 
if (elements.size() == 0) 
return true; 
else { 
Element e = elements.get (0); 
return e.match (lexer); 


) 


public static Parser rule() { return rule (null); } 
public static Parser rule(Class«? extends ASTree» clazz) ( 
return new Parser(clazz); 
public Parser reset() ( 
elements = new ArrayList«Element»(); 
return this; 
public Parser reset(Class«? extends ASTree» clazz) ( 
elements = new ArrayList«Element»(); 
factory = Factory.getForASTList(clazz); 
return this; 
public Parser number() ( 
return number (null); 
public Parser number (Class<? extends ASTLeaf» clazz) ( 
elements.add(new NumToken(clazz)); 
return this; 
public Parser identifier(HashSet«String» reserved) { 
return identifier(null, reserved); 
public Parser identifier(Class«? extends ASTLeaf» clazz, 
HashSet«String» reserved) 


elements.add(new IdToken(clazz, reserved)); 
return this; 


) 


public Parser string() { 
return string (null); 
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public Parser string(Class«? extends ASTLeaf» clazz) { 
elements.add(new StrToken(clazz)); 
return this; 

) 

public Parser token(String... pat) ( 
elements.add(new Leaf (pat)); 
return this; 

) 

public Parser sep(String... pat) { 
elements.add(new Skip(pat)); 
return this; 

) 

public Parser ast(Parser p) 
elements.add(new Tree(p)); 
return this; 

) 

public Parser or(Parser... p) ( 
elements.add(new OrTree(p)) 
return this; 


i 


) 


public Parser maybe (Parser p) ( 
Parser p2 - new Parser(p); 
p2.reset(); 
elements.add(new OrTree(new Parser[] ( p, p2 )); 
return this; 
} 
public Parser option (Parser p) { 
elements .add (new Repeat (p, true)); 
return this; 
} 
public Parser repeat (Parser p) { 
elements .add (new Repeat (p, false)); 
return this; 
} 
public Parser expression(Parser subexp, Operators operators) { 
elements.add(new Expr(null, subexp, operators)); 
return this; 
} 
public Parser expression(Class«? extends ASTree» clazz, Parser subexp, 
Operators operators) ( 
elements.add(new Expr(clazz, subexp, operators)); 
return this; 
} 
public Parser insertChoice(Parser p) { 
Element e - elements.get(0); 
if (e instanceof OrTree) 
((OrTree)e).insert (p); 
else ( 
Parser otherwise - new Parser(this); 
reset (null); 
or(p, otherwise); 


) 


return this; 
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为 了 通过 Java 语言 实现 类 似 于 Ruby 语言 中 open class 的 功能 ， 本 书 采 月 
工具 。 为 此 ， 我 们 必须 在 编译 与 执行 时 多 注意 一 些 细节 问题 。 本 章 将 简单 


EM ttg 


月 了 一 种 名 为 GluonJ 的 




















解 GluonJ 的 使 用 方法 。 





由 于 通过 GluonJ 写成 的 程序 中 含有 eReviser 等 Java 标注 ， 因 此 编译 器 的 类 路 径 中 必须 包 








含 gluonj .jar。 下 面 是 一 条 编译 示例 。 


可 二 WE eo 





.:gluonj.jar chap6/BasicEvaluator.java 





-cp (3i -classpath) 是 类 路 径 设 定 选项 。 如 果 存 在 多 个 路 径 ，Linux 5j Mac OS" 的 
路 径 之 间 需 要 通过 冒号 : 分隔， 对 于 Windows， 则 需 使 用 分 号 ;。 在 本 章 的 所 有 示例 中 ， 默 


认 gluonj.jar 文件 位 于 当前 文件 夹 。 








如 果 开发 环境 是 Eclipse， 我 们 需要 先 打 开 Project HA ) 菜单 中 的 Properties ( 属性 ) 面板 ， 
并 在 Java Build Path ( Java 的 编译 路 径 ) 的 Libraries (JÆ ) 界面 中 将 gluonj .jar 作为 外 部 jar X 


件 添加 进去 (图 18.1 )。 








Properties for book 
































Java Build Path "Y 
Resource 
Builders Í Source Projects | Libraries Order and Export. |- 一 一 
Java Build Path " 
» Java Code Style JARs and class folders on the build path: 8 
> Java Compiler > (ag gluonj.jar - book Add JARs. 
Java Editor P EÀJRE System Library [VM 1.5.0 (MacOS X Default)] 
Javadoc Location » 
Mns C aid paermai jis ) 
Project References Add External JARs.... 
Refactoring History 
Run/Debug Settings Add Variable... 
> Task Repository 
Task Tags Add Library... 
Validation 
WikiText 
Add Class Folder... 
Add External Class Folder... 
Edit. 
(Remove | 
Migrate JAR File. H 
t 
© 








将 gluonj.jar 添 加 至 编译 路 径 





(D 现 改 名 为 OSX， 是 由 苹果 公司 开发 的 操作 系统 。 





译 者 注 
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UP mar 

由 于 修改 器 无 法 直接 应 用 于 需要 修改 的 类 ， 因 此 我 们 必须 在 编译 后 ， 执 行程 序 前 ， 将 修改 器 
应 用 于 相关 的 类 。 有 多 种 方式 能 够 确保 修改 需 成 功 应 用 。 

本 书 将 通过 启动 程序 来 实现 这 一 处 理 。 除 了 原本 的 main 方法 外 ,我 们 还 需要 另外 准 
备 一 个 main 方 法 ,通过 它 调用 由 GluonJ 提供 的 Loader 类 中 的 run 方 法 ， 以 启动 原本 
的 main 方 法。 代码 清单 18.1 展示 的 是 第 6 章 ( 第 6 天 ) 代码 清单 6.5 的 Runner 类 ,我 们 将 以 
它 为 例 进行 讲解 。 其 中 ,BasicInterpreter 是 包含 7 原 有 main 方法 的 类 ， 我 们 将 为 它 应 
用 BasicEvaluator [ZB as. 









































ARER 计时 器 启动 程序 Runnerjava ( 与 代码 清单 6.5 相 同 ) 


package chap6; 
import javassist.gluonj.util.Loader; 





public class Runner { 
public static void main(String[] args) throws Throwable { 
Loader.run(BasicInterpreter.class, args, BasicEvaluator.class); 





在 通过 该 方法 启动 程序 时 ， 需 要 在 类 路 径 中 包含 gluonj .jar。 


java -cp .:gluonj.jar chap6.Runner 





如 果 使 用 Eclipse， 由 于 类 路 径 ( 编译 路 径 ) 中 已 经 含有 了 gluonj .jar， 因 此 无 需 做 额外 人 处 
理 ， 只 需 执 行 Runner 类 的 main 方法 即 可 。 

此 外 还 有 一 种 解决 方法 ， 该 方法 不 必 使 用 启动 程序 ， 而 是 通过 Java 虚拟 机 的 启动 选项 来 应 
用 所 需 的 修改 器 。 此 时 ， 程 序 的 启动 方式 如 下 所 示 。 


java -javaagent:gluonj.jar-chap6.BasicEvaluator chap6.BasicInterpreter 








该 指令 与 代码 清单 18.1 的 功能 相同 ， 即 应 用 chap6.BasicEvaluator 修 改 需 ， 并 启 
动 chap6.BasicInterpreter 的 main 方法 。 请 读者 注意 , 该 指令 启动 的 main 方法 并 不 是 代码 
清单 18.1 中 由 Runner 类 提供 的 main 方法 ， 而 是 BasicInterpretez 中 原本 的 main 方法 。 
我 们 可 以 通过 下 面 的 选项 来 启用 GluonJ。= 之 后 的 部 分 用 于 指定 修改 器 的 应 用 方式 。 


-javaagent:gluonj.jar- 























在 Eclipse 中 ， 我 们 也 能 通过 类 似 的 方式 ， 为 程序 添加 选项 并 执行 。 为 此 ， 我 们 需要 打 
Jf Run Configurations (执行 配置 ) 面板 中 的 Arguments (参数 ) 标签 页 ， 在 该 标签 页 的 VM 
arguments (虚拟 机 参数 ) 栏 中 填 人 选项 (图 18.2 )。 请 读者 注意 ， 不 要 将 选项 误 填 人 Program 
arguments ( 程序 参数 ) 栏 中 。 
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Run Configurations 





Create, manage, and run configurations 


Run a Java application 


T 








g&x|[oai- 





Name: | Basiclnterpreter 





E Java Applet 
Y D Java Application 
Basicinte: 





type filter text ©) 





[© main EÀ JRE) $0 Classpath) By Source) FẸ Environment) Œ Common) 





Program arguments: 















































rpreter | 
> JuJUnit 
Jj Task Context Test | f 
Variables... 
VM arguments: 
| -javaagent:gluonj.jar=chap6.BasicEvaluator 
Working directory: 
(9) Default: $(workspace, loc:book) 
Q Other: 
Workspace... ) ( File System... ) ( Variables... ) 
(_ Appy ) ( Revert ) 
Filter matched 6 of 10 items 
4 


指定 虚拟 机 参数 


最 后 一 种 方法 将 对 编译 生成 的 类 文件 ( .class 文件 ) 执行 后 期 处 理 ， 并 在 程序 执行 前 
事先 应 用 相关 的 修改 器。 应 用 了 修改 顺 的 类 文件 无 需 GluonJ 也 能 正常 执行 ,是 标准 的 Java 
语言 程序 。 即 使 没有 代码 清单 18.1 中 Runner 类 那样 的 启动 程序 ， 文件 也 能 启动 执行 。- 
javaagent:gluonj.jar- 这 样 的 选项 也 不 再 需要 。 为 了 对 类 文件 执行 后 期 处 理 ， 我 们 要 运行 
下 面 这 样 的 Java 指令 。 所 有 需要 处 理 的 类 文件 ( 及 修改 器 ) 都 要 添加 为 该 指令 的 参数 。 


java -jar gluonj.jar chap6/*.class stone/*.class stone/ast/*.class 








该 指令 将 改写 参数 包含 的 类 文件 的 内 容 ， 指 令 执 行 后 ， 即 使 没有 GluonJ， 它 们 也 能 正常 和 运 
行 。 请 读者 注意 , 选项 中 没有 使 用 -cp, 而 是 使 用 了 -jar。 由 于 经 过 后 期 处 理 得 到 的 只 是 普通 的 
Java 类 文件 ， 因 此 启动 程序 时 无 需 使 用 额外 的 选项 ， 只 要 启动 原本 的 main 方法 即 可 。 在 本 例 
中 ， 我 们 将 启动 chap6 .BasicInterpreter 类 的 main 方法 。 





java chap6.BasicInterpreter 


其 中 ， 类 路 径 不 必 包 含 gluonj.jar. 






































修改 器 带 来 的 启动 开销 将 几乎 为 0， 


























GluonJ 而 大 幅 拖 慢 程序 的 速度 。 


r 
u 如 果 采 用 后 期 处 理 的 方式 ， 上 





大 

















此 不 会 | 

















ud 
| 
J 
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EE. GluonJi8& 


本 书 使 用 了 GluonJ 框架 ， 它 能 使 Java 语言 实现 类 似 于 Ruby 语言 中 open class 那样 的 功能 。 
不 过 事实 上 ，GluonJ 是 一 种 独立 的 程序 设计 语言 ， 它 有 专门 的 用 于 定义 修改 器 的 语法 。 要 使 用 
这 些 GluonJ 语言 自 定 义 的 语法 ,我们 需要 通过 专门 的 编译 需 来 执行 编译 操作 。 由 于 Eclipse 等 集 
成 开发 环境 不 适合 开发 这 类 语言 ， 因 此 本 书 采用 了 另外 的 框架 ， 以 在 Java 语言 中 使 用 GluonJ 语 
言 提 供 的 功能 。 



























































四 话说 ， 还 是 要 有 用 于 GluonJ 语言 的 Eclipse 插件 才 好 呀 。 
Hl 它 还 是 实验 室 级 别 的 语言 ， 跟 能 投入 实用 的 语言 还 是 有 差距 的 。 
O 最 近 新 出 现 了 Spoofax" 之 类 的 工具 ， 用 于 解决 这 类 问题 。 不 过 要 实现 Eclipse 对 GluonJ 的 

| 支持 , 依然 不 是 一 件 容易 的 事 。 J 




































































如 代码 清单 18.2 px, GluonJ 语言 无 需 通过 eReviser 标注 来 使 用 修改 器 。GluonJ 语言 的 
修改 器 声明 与 类 声明 几乎 相同 ， 唯 一 的 区 别 在 于 原本 写 于 类 名 前 的 class 替换 成 了 revisers 


GluonJ 语 言 中 的 修改 器 声明 
public reviser NegativeEx extends NegativeExpr { 
public Object eval(Environment env) { 
Object v = operand().eval(env); 
if (v instanceof Integer) 
return new Integer(-((Integer)v).intValue()); 
else 
throw new RuntimeException("bad type " + location()); 





) 





























B 话 不 能 这 么 说 ， 这 里 重要 的 是 在 使 用 时 是 否 需要 执行 数据 类 型 转换 。 








acc 











此 外 ， 如 果 通 过 Java 语言 定义 修改 锅 ， 除 了 需要 使 用 @Revisez 标注 ， 还 必须 根据 需要 显 
式 地 执行 强制 类 型 转换 。 例 如 ，ASTree 类 的 eval 方法 需 由 ASTreeEx 修改 嚣 添加。 如果 使 
用 @Reviser 标注 ， 我 们 必须 在 调用 ASTree 对 象 新 增 的 eval 方法 时 ， 将 对 象 强制 转换 为 与 
修改 器 相同 的 类 型 。 以 代码 清单 18.2 的 第 3 行为 例 ， 我 们 需要 改 用 下 面 这 样 的 语句 。 


Object v = ((ASTreeEx)operand()).eval(env); 


























之 所 以 要 这 样 修改 ， 是 因为 operand 方法 返回 的 是 一 个 ASTree 类 型 的 值 。 不 过 ， 如 果 使 
用 GluonJ 语言 专门 的 语法 ， 我 们 就 能 像 代码 清单 18.2 那样 ， 无 需 强 制 类 型 转换 即 可 直接 完成 赋 
值 操作 。 














(D http://spoofax.org 
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如 果 使 用 @Reviser 标注 ， 代 码 中 插入 的 诸如 (ASTreeEx) 这 样 的 强制 类 型 转换 必定 成 
功 , 不 存在 转换 失败 并 抛 出 ClassCastException 异常 的 可 能 。 需 要 修改 的 类 一 定 能 被 成 功 
转换 为 与 相应 的 修改 器 相同 的 类 型 。 由 此 可 知 ， 即 使 使 用 标注 ， 也 不 会 对 Java 语言 的 静态 类 型 
检查 造成 多 大 影响 。 不 过 ， 在 使 用 GluonJ 语言 时 ， 类 型 检查 的 效率 更 高 。 而 且 最 重要 的 是 ， 此 
时 程序 结构 将 更 加 简洁 ， 因 此 我 们 更 推荐 做 法 。 

































































2 
| El GluonJ 除了 具有 一 些 与 open class 类 似 的 功能 ， 还 支持 其 他 很 多 别 的 特性 。 不 一 起 介绍 ) 

下 吗 ? 
(B 本 书 用 不 到 的 功能 就 不 专门 讲解 了 。 有 兴趣 的 读者 请 自己 去 了 解 吧 。 i 













































































通过 @Reviser 声 明 修改 器 
GReviser public class NegativeEx extends NegativeExpr { 
public NegativeEx(List«ASTree» c) { super(c); } 
public Object eval(Environment env) ( 
Object v = ((ASTreeEx)operand()).eval(env); 
if (v instanceof Integer) 
return new Integer(-((Integer)v).intValue()); 
else 
throw new StoneException("bad type " + location()); 





HEZA ris 

我 们 已 经 林林总总 讲解 了 一 些 GluonJ 的 功能 ， 本 章 的 最 后 将 重新 整理 这 些 内 容 。GluonJ 语 
言 提供 了 很 多 专用 语法 ， 不 过 我 们 要 整理 的 并 非 GluonJ 语言 的 这 些 语法 ， 而 是 在 本 书 中 作为 
Java 语言 框架 使 用 的 GluonJ 语言 功能 。 




















e @Reviser 

标记 @Reviser 表示 该 类 是 一 个 修改 般 ， 它 可 以 修改 extends 之 后 的 类 的 定义 。 修 改天 的 
字段 与 方法 将 被 直接 添加 至 需要 修改 的 目标 类 中 。 

如 果 和 需要 修改 的 类 含有 构造 函数 ， 修 改 妖 也 会 包含 有 具有 相同 类 型 签名 的 构造 阴 数 。 如 果 构 造 
函数 不 止 一 个 ， 修 改 如 将 同时 包含 所 有 对 应 的 构造 函数。 构造 函数 无 法 男 外 添加 。 

代码 清单 18.3 是 一 个 例子 ， 它 改写 了 代码 清单 18.2， 通 过 @Reviser 实现 了 修改 右 的 声明 。 
两 种 方式 的 主要 区 别 在 于 是 否 使 用 了 构造 国 数 ,以 及 eval 方法 在 最 初 调用 operand() 的 eval 方 
法 时 是 否 需 要 执行 强制 类 型 转换 。 


























e 强制 类 型 转换 与 revise 方法 
在 调用 由 修改 需 添 加 的 方法 时 ， 我 们 必须 将 修改 后 的 类 强制 转换 为 与 修改 需 一 样 的 类 型 。 不 
过 有 时 ， 这 样 的 强制 类 型 转换 可 能 会 与 Java 语言 的 语法 冲突 ， 造 成 编译 错误 。 此 时 ， 我 们 可 以 
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UH javassist.gluonj.GluonJ 类 中 的 static 方法 revise。 例 如， 在 第 11 章 代码 清单 
11.4 中 ，FunEx 修改 的 lookup 方法 就 使 用 了 这 一 revise 方法 。 


import static javassist.gluonj.GluonJ.revise; 


( (ASTreeOptEx) revise (body) ) . lookup (newSyms); 




















Hif, body 是 一 个 Blockstmnt 类 型 的 变量 ， 并 应 用 了 ASTreeOptEx tito lookup 77 
法 由 ASTreeOptEx 修改 器 添加 。 根 据 Java 语言 的 语法 ,ASTreeOptEx 修改 器 和 BlockSstmnt 类 
都 是 ASTree 的 子 类 ， 但 两 者 之 间 并 无 继承 关系 。 也 就 是 说 , ASTreeOptEx 类 并 不 
是 BlockStmnt 类 的 子 类 。 因 此 下 面 这 样 的 强制 类 型 转换 将 引起 编译 错误 。 


(ASTreeOptEx)body 









































为 避免 该 问题 ， 我 们 要 像 下 面 这 样 改 用 revise. 


(ASTreeOptEx) revise (body) 


e super 调用 

修改 器 在 覆盖 修改 对 象 的 类 方法 时 ， 可 以 在 自身 的 方法 中 通过 super 调用 需要 修改 的 类 提 
供 的 方法 。 这 与 子 类 的 方法 可 以 借助 super 来 调用 父 类 方法 的 机 制 相同 。 
如 果 一 个 类 应 用 了 多 个 修改 咒 ， 由 某 个 修改 器 添加 的 方法 能 被 其 他 修改 器 再 次 引 盖 。 这 
Jj, super 调用 的 是 被 覆盖 的 修改 需 提 供 的 方法 。 





























LH 
bag 


e @ Require 

如 果 修 改 器 含有 @Require 标注 ， 表 示 它 依赖 于 由 @eRequire 的 参数 列 出 的 其 他 修改 器 。 
如 果 某 个 修改 器 R 依赖 于 另 一 个 修改 锅 S， 程 序 在 应 用 修改 咒 R 之 前 将 首先 隐 式 地 应 用 修改 
器 S。 也 就 是 说 ， 修 改 器 S 的 应 用 将 先 于 及 。 如 果 两 个 修改 器 修改 了 同一 个 类 ， 后 应 用 的 修改 髓 
有 可 能 会 覆盖 前 一 个 修改 顺 添 加 的 方法 。 





e 分 组 

我 们 能 将 多 个 修改 器 分 组 。 标 有 @Reviser 但 不 含 extends 部 分 的 类 用 于 表示 修改 融 的 分 
组 。 分 组 内 的 修改 右 都 是 该 类 的 般 套 子 类 。 这 些 般 套子 类 都 必须 是 static 类 型 。 

修改 如 的 分 组 可 以 作为 @Require 标注 的 参数 使 用 。 此 时 ， 具 有 该 标注 的 修改 器 将 依赖 于 
参数 中 的 修改 器 的 分 组 。 这 一 分 组 中 的 所 有 修改 器 都 将 被 事先 应 用 。 


e 修改 器 的 extends 操作 
除了 通常 的 类 ， 修 改 央 还 可 以 extends 男 一 个 修改 右 。 例 如 ， 对 于 下 面 这 样 修改 右 R 的 定 
X, s 如 果 不 是 普通 的 类 ， 而 是 另 一 个 修改 右 ， 修 改 器 RR 将 修改 s 修改 的 类 。 


GReviser public class R extends S00 ) 
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此 时 ， 修 改 顺 R 将 在 修改 器 s 之 后 应 用 。 因 此 ， 修 改 需 R 的 方法 能 够 覆盖 由 修改 器 S 添加 














的 方法 。 















o£? 两 家 都 是 
大 公司 啊 


而 且 我 拒绝 掉 的 
公司 还 在 一 个 劲 
地 联系 我 呢 






然而 ， 在 签约 说 
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本 书 在 实现 程序 中 的 抽象 语法 树 时 ， 使 用 了 GluonJ 语言 以 及 Ruby 语言 中 open class 风格 的 
语法 结构 。 不 过 ， 抽 象 语法 树 的 类 设计 有 一 些 重 要 的 设计 模式 ， 通 过 这 些 设 计 模 式 ， 我 们 可 以 完 
全 在 Java 语言 的 框架 内 设计 相关 的 类 。 本 章 将 讲解 如 何 通过 设计 模式 设计 抽象 语法 树 ， 并 分 析 
这 种 方式 的 优 缺 点 ， 供 有 兴趣 的 读者 阅读 。 


EIER. mismas 

本 书 已 经 分 阶段 逐步 构建 了 Stone 语言 的 语言 处 理 器 。 我 们 首先 选取 了 一 些 必需 的 语法 规 
则 ， 实 现 了 一 个 极为 简单 的 版 本 。 在 确认 该 处 理 器 能 正常 工作 后 ， 我 们 又 进一步 为 其 添加 新 功 
能 ， 并 再 次 确认 执行 情况 ， 如 此 反复 …… 本 书 采用 的 这 种 流程 称 为 迭代 式 开发 风格 。 如 今 ， 不 只 
是 语言 处 理 侣 ， 这 种 方式 广泛 应 用 于 Web 服务 等 各 种 类 型 的 开发 ， 十 分 常见 。 

然而 ， 在 新 增 功 能 时 ， 我 们 难免 要 为 一 些 类 改写 或 添加 方法 与 字段 。 对 已 经 确认 能 正常 执行 
的 程序 做 局 部 修改 ， 也 就 是 修改 已 有 的 类 定义 ， 或 彻底 替换 某 些 类 的 定义 ， 将 使 程序 变 得 难以 理 
解 ， 提 升 今后 的 开发 难度 。 

































































( B] 如 果 随 意 修改 程序 ， 可 能 会 把 原本 能 正常 执行 的 部 分 也 改 错 呢 。 | 
EB 嗯 ， 这 时 需要 使 用 版 本 管理 系统 才 行 ， 这 可 是 常识 。 如 果 在 修改 前 签 入 过 代码 ， 万 一 发 生 问 
题 ， 只 要 还 原 之 前 的 代码 即 可 。 
回 不 过 进行 多 次 修改 后 ， 合 并 与 移 除 会 很 麻烦 。 
D 老师 ， 通 过 语言 来 管理 版 本 问题 时 ， 融 合 也 不 轻松 。 不 过 ， 这 时 的 粒度 较 细 ， 比 版 本 管理 系 
d 统 多 少 要 方便 些 …… J 


理想 情况 下 ， 程 序 新 增 的 功能 应 能 作为 差分 文件 ”处 理 。 只 要 将 它们 与 现 有 程序 结合 ， 就 能 
得 到 具有 新 功能 的 软件 。 我 们 希望 尽 可 能 不 对 原 有 程序 做 额外 的 修改 。 此 外 ， 即 使 是 差分 文件 ， 
也 应 易于 开发 者 阅读 与 理解 。 如 果 差 分 文件 的 表述 形式 与 diff 指令 的 输出 结果 类 似 ， 和 程序 结 
构 本 号 无 关 ， 将 给 开发 造成 很 大 的 困难 。 

实现 这 一 理想 ， 是 程序 设计 语言 研究 领域 的 一 大 目标 。 在 开发 程序 设计 语言 的 处 理 器 时 ， 我 
们 可 以 通过 多 种 手法 努力 向 这 一 目标 靠近 。 本 章 将 介绍 interpreter 模式 与 visitor 模式 ， 这 两 种 设 
计 模 式 是 常用 的 处 理 器 设计 手法 。 应 用 这 些 模式 后 ， 程 序 将 变 得 易于 修正 ， 且 无 需 在 新 增 功 能 时 

















































































































































































































(D 或 称 为 差别 文件 。 





译 者 注 
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对 代码 做 太 大 的 改动 。 


UPA Interpreter 模式 

第 6 章 ( 第 6 天 ) 最 初 在 设计 仅 含 基本 功能 的 Stone AAAS, EA RA 
树 的 节点 类 添加 了 eval 方法 。 新 增 了 eval 方法 的 类 其 实 采 用 了 Interpreter 设计 模式 。 所 有 抽 
象 语法 树 的 节点 类 共享 一 个 父 类 RSTree， 各 个 类 又 分 别 定义 了 各 自 的 eval 方法 ,这 是 典型 的 
interpreter 模式 。 本 书 使 用 了 大 量 的 抽象 语法 树 节 点 类 ,方便 起 见 ， 下 面 将 以 一 种 简化 版 本 为 例 
进行 讲解 。 首 先 ， 抽 象 语法 树 将 仅 含 NumberLiteral 5 BinaryExpr 这 两 种 具体 类 。 在 第 4 
章 ( 第 4 天 ) 的 图 4.5 中 ,它们 与 AsTree 类 之 间 还 来 有 ASTLeaf 类 与 ASTList 类 ， 不 过 本 章 
将 省 略 这 两 个 类 。 此 外 ,各 类 的 字段 定义 也 将 从 简 ， 与 BinaryExpr 类 对 应 的 节点 仅 表示 加 法 
或 乘法 。 代 码 清单 19.1 是 具体 的 程序 。 图 19.1 是 与 之 对 应 的 类 图 。 

由 于 采用 了 interpreter 模式 ， 各 节点 类 共享 的 父 类 ASTree 也 包含 eval 方法 。 调 用 该 方 
法 后 程序 将 开始 执行 。BinaryExpr 类 含有 字段 left 与 right， 它们 分 别 表 示 左 侧 与 右 侧 的 
澡 作 数 ， 是 ASTree 类 型 的 变量 。 因 此 ， 我 们 无 需 在 意 实际 的 对 象 究竟 是 NumberLiteral 还 
是 BinaryExpr， 只 需 直 接 调用 eval 方法 即 可 。 调 用 eval 方法 后 ， 语 言 处 理 器 将 根据 对 象 的 
实际 类 型 选择 合适 的 eval 方法 执行 。 这 种 方式 称 为 动态 方法 分 派 ， 是 面向 对 象 语 言 具 备 的 基本 
功能 。 
简化 后 的 抽象 语法 树 节点 类 


public abstract class ASTree ( 
public abstract int eval() throws Exception; 


public class NumberLiteral extends ASTree [ 
public Token value; 
public int eval() throws Exception { 
return value.getNumber(); 
} 




































































) 


public class BinaryExpr extends ASTree 
public Token operator; 
public ASTree left, right; 
public int eval() throws Exception { 
String op - operator.getText(); 
if ("+".equals (op)) 
return left.eval() + right.eval(); 
else if ("*".equals(op)) 
return left.eval() * right.eval(); 
else 
throw new Exception("bad operator " + op); 


一 一 





图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) 专 享 尊重 版 权 


274 | 第 19 天 抽象 语法 树 与 设计 模式 


ASTree 



















left, right 





NumberLiteral BinaryExpr 








eval 














简化 后 的 抽象 语法 树 节 点 类 之 间 的 相互 关系 


二 过 二 直 洱 [将 eval 方 法 从 抽象 语法 树 的 节点 类 中 分 离 
public class Evaluator { 
public static int eval(ASTree tree) throws Exception { 
if (tree instanceof BinaryExpr) { 


BinaryExpr expr - (BinaryExpr)tree; 
String op - expr.operator.getText(); 
if ("+".equals (op) ) 

return expr.left.eval() + expr.right.eval(); 
else if ("*".equals(op)) 

return expr.left.eval() * expr.right.eval(); 
else 


throw new Exception("bad operator " + op); 
else if (tree instanceof NumberLiteral) { 
NumberLiteral num - (NumberLiteral)tree; 
return num.value.getNumber(); 








) 


else 
throw new Exception("unknown ASTree"); 



































































































































ANTT . Heo ) 

| [3 你 们 觉得 interpreter 模式 好 在 哪里 呢 ? | 
回 对 于 面 身 对 象 语言 写成 的 程序 来 说 ， 这 些 是 理 所 应 当 的 ， 没 觉得 特别 好 呀 。 

| 四 这 都 已 经 被 归纳 为 一 种 设计 模式 了 ， 只 管用 就 好 了 ， 不 用 考虑 为 什么 要 用 它 。 | 

















我 们 来 考虑 一 下 不 使 用 interpreter 模式 的 程序 , 并 与 使 用 了 该 模式 的 程序 进行 比较 。eval 方 
法 用 于 执行 程序 ， 但 它 并 不 一 定 适合 作为 抽象 语法 树 节 点 类 中 的 方法 。 有 观点 认为 ， 抽 象 语法 树 
节点 类 的 方法 应 仅 用 于 抽象 语法 树 的 构建 及 其 他 一 些 相关 操作 ， 而 不 是 程序 的 执行 。 

代码 清单 192 将 eval 方法 分 离 出 了 抽象 语法 树 的 节点 类 。 该 eval 方法 将 接收 抽象 语法 
树 作 为 参数 ， 并 执行 程序 。 它 将 分 析 由 参数 传递 而 来 的 对 象 tree 的 类 型 ， 根 据 情况 执行 相应 











图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) 专 享 尊重 版 权 


19.2 Interpreter 模式 | 275 





的 处 理 。 实 际 的 处 理 逻 辑 与 代码 清单 19.1 的 eval 方法 基本 相同 。 可 以 说 ， 它 只 是 通 














过 if 语句 


显 式 地 完成 了 由 动态 方法 分 派 隐 式 地 执行 的 操作 。 图 19.2 显示 了 这 种 方式 与 interpreter 模式 之 








间 的 差异 。interpreter 模式 将 分 别 在 不 同 的 类 中 执行 相应 的 处 理 ( 在 图 中 以 矩形 表示 ), 


的 eval 方法 则 将 在 一 条 if 语句 中 执行 所 有 的 处 理 。 








interpreter 模 式 将 eval 方 法 与 节点 类 分 离 后 的 程序 
class Evaluator { class Evaluator { 
int eval(ASTree t) ( int eval(ASTree t) ( 








' else if (t instanceof 












class BinaryExpr extends ASTree { 
int eval() ( 











throw new Exception(); 





) 
} 


class NumberLiteral extends ASTree { 
int eval() { 














) 


} 
动态 方法 分 派 与 语句 


而 分 离 后 


;if (t instanceof BinaryExpr) i; 


Cd NumberLiteral)i 




















| 回 这 种 结构 不 佳 的 代码 简直 是 典型 的 反面 教材 呢 。 
| O 不 过 ， 在 面向 对 象 普及 之 前 ， 大 家 都 是 这 么 设计 程序 的 哦 。 





























| 
| 











使 用 了 interpreter 模式 的 程序 ， 即 使 之 后 因 扩充 语法 规则 而 新 增 了 一 些 ASTree 


类 的 子 类 ， 


原 有 程序 也 无 需 做 太 多 修改 ， 这 也 是 interpreter 模式 的 一 大 优点 。 例 如 ， 假 设 我 们 要 为 语言 处 理 
表 扩 充 语 法 ， 为 其 添加 对 单 目 负 号 运算 符 ( 即 整数 前 的 负 号 ) 的 支持 。 此 时 ， 原 有 程序 几乎 不 会 


有 什么 改动 。 


























为 了 表示 具有 人 负 号 的 项 ， 我 们 可 以 为 ASTree 定义 一 个 新 的 子 类 NegativeExpr。 如 








辑 ， 使 它 能 够 在 参数 是 一 个 NegativeExpr 对 象 时 也 做 出 恰当 的 处 理 ( 图 19.3 


果 程 序 没有 采用 interpreter 模式 ，if 语句 就 必须 做 相应 的 修改 。 我 们 必须 为 iE 语句 添加 四 


) ee 


面 ， 如 果 程 序 采 用 了 interpreter 模式 ,我们 只 需 为 NegativeExpr 类 定义 合适 的 eval 方法 即 


可 。BinaryExpr 类 等 其 他 一 些 已 经 能 够 正确 运行 的 部 分 不 必 做 额外 的 修改 。 
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原本 的 程序 添加 NegativeExpr 后 
class Evaluator { class Evaluator { 
int eval (ASTree t) { int eval (ASTree t) { 
if (t instanceof BinaryExpr) if (t instanceof BinaryExpr) 
[ | [ | 
else if (t instanceof p else if (t instanceof 
NumberLiteral) NumberLiteral) 
IA 
else else if (t instanceof 
throw new Exception(); NegativeExpr) 
} [| 
else 
) throw new Exception(); 
} 


新 增 抽象 语法 树 的 节点 类 



































上 四 说 是 要 修改 if 语句 ， 也 不 过 是 添加 一 条 else 分 支 嘛 ， 不 要 紧 ， 不 是 什么 大 问题 。 | 
B 方法 内 部 也 需要 修改 哦 。 对 于 现 有 的 这 些 能 够 正常 执行 的 类 ， 它 们 的 源 代码 免不了 要 做 些 
修改 。 
E 常常 看 起 来 容易 ， 真 做 起 来 时 会 发 现 要 改 的 地 方 一 大 堆 。 







































































回 如 果 使 用 interpreter 模式 ， 就 不 用 修改 已 有 的 源 代码 了 呢 。 
| 加 不 过 老师 您 也 得 讲 讲 interpreter 模式 的 缺点 才 行 啊 …… | 


— 














采用 interpreter 模式 的 程序 也 存在 不 足 。 如 果 程 序 不 采用 该 模式 ， 所 有 的 处 理 都 能 
TE Evaluator 类 的 eval 方法 中 完成 。 采 用 interpreter 模式 的 程序 则 需要 分 别 在 不 同 的 eval 方 
法 中 执行 处 理 。 在 上 例 中 ，BijnaryExpr 类 与 NumberLiteral 类 各 自 含 有 专门 的 eval 方 
法 ， 原 本 能 在 一 个 eval 方法 中 执行 的 处 理 不 得 不 分 为 两 部 分 。 随 着 ASTree 的 子 类 的 增 
Ji, eval 方法 的 数量 也 会 不 断 增加 。 由 于 这 些 方法 分 别 位 于 不 同 的 源 文件 中 ， 因 此 很 难 理 清 全 
Wk eval 方法 具体 实现 了 怎样 的 功能 ， 可 读 性 较 差 。 例 子 中 的 程序 比较 简短 ， 这 个 问题 尚 不 明 
显 ， 如 果 程 序 规模 较 大 ， 我 们 就 不 能 再 忽略 这 个 缺点 了 。 面 向 切面 程序 设计 中 的 横 切 关注 点 也 有 


这 个 问题 。 


IE. visitortsx 

前 面 介 绍 的 interpreter 模式 还 有 另 一 个 问题 。 在 第 11 章 ( 第 R) 的 具体 实现 中 ， 我 们 为 
抽象 语法 树 的 节点 类 添加 了 lookup 方法 。lookup 方法 将 事先 统计 程序 中 出 现 的 变量 ， 并 确定 
变量 的 保存 位 置 。 与 eval 方法 相同 ， 该 方法 也 将 从 抽象 语法 树 的 根 节点 向 叶 节 点 遍历 整 棵 语法 
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树 ， 同 时 逐步 执行 必要 的 计算 。 
































四 嘱 ， 本 章 讨论 的 抽象 语法 树 中 不 全 变量 路 。 只 有 数字 而 已。 
回 A 君 ， 就 别 在 意 这 些小 细节 了 。 
Bl 无 论 1ookup 方法 的 内 部 怎样 ， 总 之 只 要 知道 lookup 方法 在 执行 时 会 遍历 语法 树 ， 并 查找 

[o 叶 节 点 的 内 容 就 好 了 。 | 


Ws 













































































D 
如 果 使 用 interpreter 模式 ， 我 们 就 必须 为 各 个 类 添加 相应 的 1ookup 方法 ， 其 中 包含 了 
与 eval 方法 同样 的 程序 结构 。NumberLiteral 类 与 BinaryExpr 类 原本 已 能 正常 运行 ， 却 
依然 需要 添加 一 些 方 法 ， 其 实质 与 修改 代码 无 异 。 这 并 非 是 我 们 所 希望 的 结果 。 














| 哎呀 ，interpreter 模式 也 不 行 呀 。 \ 
O 不 ， 上面 的 例子 已 经 超出 了 interpreter 模式 的 适用 范围 。 所 以 说 上 面 说 的 其 实 有 些 吹 毛 求 
(| ET 


















































此 时 ， 我 们 可 以 利用 visitor 模式 来 解决 这 一 问题 。 该 模式 下 ，eval 方法 与 1ookup 方法 将 
被 移 至 其 他 的 类 ， 抽 象 语法 树 的 ASTree 类 、NumberLiteral 类 或 BinaryExpr 类 中 无 需 包 
含 这 些 方法 。 在 新 增 方法 时 ， 抽 象 语法 树 的 类 定义 也 不 需要 修改 。 我 们 只 要 创建 新 的 类 ， 再 向 其 
中 添加 方法 即 可 。 





















































t, 





( 园 说 起 来 ， 那 本 书 ”里 也 说 这 种 情况 下 适合 使 用 visitor 模式 呢 。 J 


我 们 来 看 一 下 经 改写 后 采用 了 visitor 模式 的 程序 。 该 模式 是 一 种 不 易 从 整体 上 把 握 的 设计 
模式 ， 图 19.4 是 它 的 整体 结构 。 大 家 可 以 比较 一 下 图 19.2 介绍 的 interpreter 模式 。 不 难 发 现 ， 在 
扩充 功能 时 ，visitor 模式 无 需 向 NumberLiteral 5 BinaryExpr 等 抽象 语法 树 节 点 类 添加 诸 
如 eval 或 lookup 这 类 的 方法 。 

首先 ， 我 们 无 需 直 接 在 抽象 语法 树 的 相关 类 中 定义 eval 等 方法 。 为 此 ， 我 们 需要 为 各 个 
类 逐一 定义 accept 这 一 通用 的 方法 作为 替代 。 另 一 方面 ， 具 体 的 处 理 操 作 将 由 Visitozr 类 型 
的 对 象 中 的 方法 实现 。accept 方法 将 接收 该 对 象 作为 参数 ， 选 择 该 对 象 中 合适 的 visit 方法 
并 执行 。 这 样 一 来 ， 我 们 只 需 更 改 传递 给 accept 方法 的 Visitor 对 象 ， 就 能 轻松 替换 抽象 
语法 树 各 节点 类 的 处 理 操 作 。 这 就 是 visitor 模式 的 核心 思想 。 图 19.4 中 的 虚线 表示 由 参数 接收 
的 Visitor 对 象 的 替换 操作 。 


























(D Design Pattern, Erich Gamma 等 著 ， 艾 迪生 - 书 斯 利 出 版 公司 1995 年 出 版 。 中 文 译本 《设计 模式 》 由 机 械 工业 出 版 
社 于 2000 年 9 月 出 版 ， 李 英 军 、 马 晓 星 、 蔡 人 敏 、 刘 建 中 等 译 。 
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class Evaluator ( class LookupVisitor 
int eval(ASTree t) ( implements Visitor ( 
EvalVisitor v void visit(NumberLiteral n) ( 
- new EvalVisitor(); e» ?? 


E 
r void visit(BinaryExpr b) { 
i e» o? 


t.accept (v) 












return v.result; 


} 


class NumberLiteral extends ASTree { 
int accept(Visitor v) ( 二 加 
V.visit(this);.---------- 

class EvalVisitor 
implements Visitor { 
} void visit (NumberLiteral n) { 


class BinaryExpr extends ASTree { 





--7 






































) 
) 
} 
使 用 visitor 模 式 并 改写 程序 
( py 这 段 潮解 完全 听 不 懂 啊 。 让 
DB 果然 还 是 要 阅读 实际 的 代码 才 行 。 
L 回 咽 ， 不 过 就 算 阅 读 实 际 的 代码 ， 也 没 那 么 容易 理解 哦 。 ] 














interpreter 模式 将 在 调用 抽象 语法 树 根 节点 对 象 的 eval 方法 后 开始 执行 程序 。visitor 模式 在 
将 像 下 面 这 样 调 用 accept 方法 执行 。 其 中 ， 变 量 上 指向 表示 抽象 语法 树 根 节点 的 ASTree 对 象 。 








EvalVisitor v = new EvalVisitor(); 
t.accept (v) ; 
int res = v result, 

这 上 段 代码 首先 创建 了 一 个 用 于 执行 实际 处 理 的 EvalVisitor 对象 ,再 将 它 作为 参数 调 
用 accept 方法 。 此 处 , 计算 结果 通过 result 字段 获得 ， 而 不 是 accept 方法 的 返回 值 。 在 
interpreter 模式 下 ， 程 序 将 仅 执行 上 .eval () visitor 模式 则 会 按 上 述 方式 处 理 。 


















































作为 计算 结果 哦 。 











Per 











图 通过 泛 型 ( generics ) 就 能 让 accept 方法 的 返 世 
图 8e 之 后 我 会 讲 的 。 
bm 


代码 清单 19.3 是 根据 visitor 模式 修改 得 到 的 抽象 语法 树 节 点 类 。 它 去 除了 代码 清单 
19.1 中 的 eval 方 法， 同时 添加 了 相应 的 accept 方 法。 新 增 的 accept 方法 的 参数 类 型 
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J Visitor 接口 。 代 码 清单 19.4 是 该 接口 的 定义 。 也 就 是 说 ， 抽 象 语 法 树 能 够 通过 accept 方 
法 接收 (accept ) 指定 的 访问 者 ( visitor )。 

除了 ASTree 类 之 外 ， 代 码 清 单 19.3 的 各 个 类 中 的 accept 方法 都 基本 相同 。 然 而 ， 由 
T visit 方法 已 被 覆盖 ， 因 此 它们 在 实际 执行 时 将 分 别 调用 不 同 的 visit 方法 。 变 量 this 的 
类 型 将 由 具体 情况 决定 ， 在 调用 visit 方法 时 ， 参 数 可 以 是 各 种 类 型 的 值 。 


AREARE 根据 visitor 模 式 改写 抽象 语法 树 的 节点 类 


public abstract class ASTree { 
public abstract void accept(Visitor v) throws Exception; 


public class NumberLiteral extends ASTree ( 
public Token value; 
public void accept (Visitor v) throws Exception { 
v.visit(this); 






































} 
} 


public class BinaryExpr extends ASTree { 
public Token operator; 
public ASTree left, right; 
public void accept (Visitor v) throws Exception { 
v.visit(this); 


) 





Ing MEE Visitor 接 口 ( Visitor.java ) 


public interface Visitor { 
void visit(NumberLiteral n) throws Exception; 
void visit(BinaryExpr e) throws Exception; 




















Pn 


FÆ, EH t.accept (v) 的 形式 调用 accept 方法 后 ， 最 终 调 用 的 其 实 是 与 变量 t 所 属 的 
对 和 象 类 型 对 应 的 visit 方法 。 男 一 方面 ，interpreter 模式 将 通过 t .eval () 调用 与 t 的 对 象 类 
型 对 应 的 eval 方法 ， 两 者 表示 的 含义 相同 ， 区 别 仅 在 于 一 个 方法 名 是 visit， 男 一 个 是 eval, 
且 这 两 种 方法 分 别 由 不 同 的 类 定义 。 

代码 清单 19.5 是 EvalVisitor 类 的 定义 。 在 interpreter 模式 下 , NumberLiteral 
与 BinaryExpr 类 分 别 含 有 各 自 的 eval 方法 ， 在 visitor 模式 下 ， 它 们 将 汇总 于 EvalVisitor 
类 ， 同 时 ,方法 名 变 为 visit。EvalVisitor 类 通过 不 同 的 方法 ， 描 述 了 它 在 访问 (visit) 
NumberLiteral 类 或 BinaryExpr 类 等 各 种 不 同 的 类 时 ， 应 具体 执行 哪些 操作 。 

此 外 ， 为 提高 通用 性 ，visit 方法 将 返回 一 个 void 而 非 int 类 型 的 值 。 因 此 ， 计 算 结 
的 返回 方式 也 将 发 生变 化 。visit 方法 不 通过 return 语句 返回 结果 ， pos result 字段 
传递 方法 的 返回 值 。 被 调用 的 方法 将 把 返回 值 保 存 于 result 字段 ， 调 用 方 则 通过 该 字段 读 取 所 
需 的 返回 值 。 
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EA EvalVisitor 类 ( EvalVisitor.java ) 





public class EvalVisitor implements Visitor { 
public int result; 
public void visit(NumberLiteral num) { 


) 


result - num.value.getNumber(); 


public void visit(BinaryExpr e) throws Exception { 
String op - e.operator.getText(); 
e.left.accept (this); 

int r1 - result; 

e.right.accept (this); 


if 


("+".equals (op)) 
result = r1 + result; 


else if ("*".equals(op)) 


result = r1 * result; 


else 


throw new Exception("bad operator " + op); 


























[ O 通过 对 象 的 字段 传递 返回 值 的 做 法 看 起 来 可 能 有 些 古 怪 。 | 


回 UU, 说 明 EvalVisitor 不 支持 多 线程 是 吧 ? 







































































回 不 会 啊 。 只 要 为 每 个 线程 创建 EvalVisitor 对 象 ， 就 能 正常 地 并 行 处 理 了 不 是 吗 ? 














































































































B 老师 ， 泛 型 的 用 法 什么 时 候 介绍 …… 
图 对 了 ， 这 就 讲 。 虽 然 有 些 复杂 ， 但 我 们 也 能 直接 通过 accept 方法 的 返回 值 获取 计算 结果 。 
为 此 ， 我 们 首先 要 将 Visitor 接口 改 为 泛 型 。 





























public interface Visitor<R> { 


5 


然后 


R visit(NumberLiteral n) throws Exception; 
R visit(BinaryExpr e) throws Exception; 





， 各 类 中 的 accept 方法 需 做 如 下 改动 。 


public <R> R accept (Visitor<R> v) throws Exception { 


return v.visit(this); 











accept 方法 的 返回 值 类 型 为 R， 与 参数 传 来 的 Visitor 对 象 的 类 型 参数 相同 。R 是 一 个 
类 型 变量 。 之 后 ， 我 们 只 要 再 修改 一 下 EvalVisitor 的 定义 ， 就 能 使 accept 方法 在 接收 
EvalVisitor 类 型 的 参数 时 返回 Intege 类 型 的 值 。 
























































public class EvalVisitor implements Visitor«Integer» ( ... ) 


之 所 以 





能 这 样 ， 是 由 于 EvalVisitor tÆ Visitor«Integer» 类 型 的 类 。 顺 便 一 提 ， 如 





| Em 


H 2E 











AU visitor«String», accept 方法 的 返回 值 就 是 String 类 型 。 ] 
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Ing AMENS LookupVisitorZ$ ( LookupVisitor.java ) 


public class LookuplVisitor implements Visitor { 
private Symbols symbols; 
public LookuplVisitor(Symbols syms) { symbols = syms; } 
public void visit(NumberLiteral num) { 
symbols .put (num.value.getText()); 
} 


public void visit(BinaryExpr e) throws Exception { 
e.left.accept (this); 
e.right.accept (this); 











根据 Visitor 模式 修改 程序 后 ， 虽 然 类 的 设计 变 得 更 为 复杂 ， 但 能 够 更 轻松 地 为 抽象 语法 树 
添加 新 的 处 理 逻 辑 。 应 用 该 模式 后 ， 我 们 无 需 再 对 NumberLiteral 类 及 BinaryExpr 类 等 抽 
象 语 法 树 的 节点 类 做 额外 的 修改 。 

例如 ， 假 设 我 们 希望 实现 lookup 处 理 ， 对 变量 执行 统计 。 在 interpreter 模式 下 ， 我 们 必 
须 修 改 抽 象 语 法 树 的 各 个 节点 类 ， 为 它们 添加 lookup 方法 。 在 visitor 模式 下 ， 我 们 不 需要 
进行 这 类 修改 。 我 们 只 需 定 义 一 个 实现 了 Visitor 接口 的 LookupVisitor 类， 并 在 其 中 定 
X NumberLiteral 255 BinaryExpr 类 所 需 的 visit 方法 即 可 。 各 个 类 的 lookup 处 理 将 
由 对 应 的 visit 方法 承担 。 在 定义 了 LookupVisitor 类 之 后 ， 我 们 只 要 创建 相应 的 对 象 ， 并 
以 它 为 参数 调用 accept 方法 ， 就 能 执行 对 整 棵 抽象 语法 树 的 Lookup 处 理 。 

代码 清单 19.6 是 LookupVisitor 类 的 定义 。lookup 方法 原本 用 于 查找 表达 式 中 的 变量 ， 
不 过 本 章 讨论 的 表达 式 中 不 含 变量 ， 只 有 数值 。 方 便 起 见 ， 我 们 在 实现 visit 方法 时 ,该 方法 执 
行 的 lookup 处 理 将 只 查找 表达 式 中 的 数值 ， 并 通过 put 方法 将 其 保存 至 Symbols 对 象 之 中 。 

由 于 lookup 处 理 没 有 返回 值 ， 所 以 LookupVisitor 类 不 必 包 含 *esult 字段 。 此 时 ， 
返回 值 将 通过 EvalVisitor 类 的 result 字段 返回 ， 因 此 我 们 无 需 更 改 Visitor 接口 的 定 
义 ， 就 能 支持 任意 类 型 的 返回 值 。 

lookup 处 理 没 有 返回 值 ， 查 找 结果 将 由 result 字段 表示 。 无 论 哪 种 类 型 的 返回 值 
都 能 通过 这 种 方式 处 理 。 例 如 ,假设 返回 值 为 String 类 型 程序 能 自动 将 result 字段 
转换 为 String 类 型 。 我 们 不 需要 对 抽象 语法 树 的 节点 类 或 Visitor 接口 做 额外 的 修改 。 
TE visitor 模式 下 ,类 设计 从 整体 上 具有 极 高 的 通用 性 。 

Au, AR lookup 处 理 没有 返回 值 ， 它 需要 接收 参数 。 第 11 章 ( 第 11 天) 添加 的 1ookup 
方法 将 接收 一 个 Symbols 类 型 的 参数 。LookupVisitor 类 改 用 symbols 字段 来 支持 这 一 设 
计 ， 该 字段 将 通过 构造 函数 的 参数 初始 化 。symbols 对 象 在 作为 参数 传递 后 ， 将 借 由 该 字段 保 
存 。 与 返回 值 处 理 的 设计 理念 相同 ， 这 种 方式 确保 了 整个 类 设计 有 着 很 高 的 通用 性 。 
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UZA 使 用 反射 





























| D visitor 模式 还 是 不 行 啊 。 | 
B 为 什么 这 么 说 ? 
| 普通 人 哪儿 能 理解 这 么 复杂 的 东西 呀 。 要 能 搞 慌 就 都 是 天 才 了 。 J 


-— — 





visitor 模式 或 许 能 称 得 上 是 最 难 理解 的 模式 之 一 。 不 过 ， 得 益 于 BvalVisitor 5 
LookupVisitor, 我 们 不 必修 改 ASTree 类 , 或 NumberLiteral 5E BinaryExpr 等 子 类 , 就 
能 为 语言 处 理 器 添加 新 的 语法 功能 。 这 也 是 visitor 模式 的 一 大 优点 。 此 外 ， 由 于 添加 的 部 分 全 
都 集中 于 EvalVisitor 与 LookupVisitor 类 中 ,处 理 逻 辑 的 可 读 性 也 很 强 。 但 另 一 方面 ， 
为 ASTree 类 及 其 子 类 新 增 了 accept 方法 ， 因 此 程序 的 复杂 度 将 会 提升 。 

我 们 可 以 通过 Java 语言 提供 的 反射 机 制 降低 这 种 类 型 的 程序 复杂 性 。 使 用 反射 之 后 ,程序 
能 在 执行 过 程 中 查找 某 个 类 具有 哪些 方法 ， 并 执行 找到 的 方法 。 

d RH TESI, visitor BEL NL BE X. HER EA dB WEM T usage 
X, ASTree 类 仍然 需要 定义 accept 方法 ,不 过 它 的 子 类 不 必 再 对 accept 方法 进行 定义 。 程 
序 中 其 他 类 的 定义 与 没有 使 用 反射 时 的 visitor 模式 相同 。 

我 们 来 看 一 下 具体 的 程序 。 代 码 区 的 19.7 是 除了 ASTree 之 外 的 抽象 语法 树 节 点 类 的 简单 定 
义 。 此 时 , 这 些 节 点 类 中 不 需要 eval 与 accept 等 方法 。EvalVisitor 5 LookupVisitor 的 
定义 没有 变化 ， 不 过 由 于 我 们 不 再 使 用 Visitor 接口 ， 因 此 删 去 了 implements 一 句 。 其 他 部 
分 与 原来 相同 。 


AEEA 使 用 了 反射 机 制 的 抽象 语法 树 节 点 类 
public class NumberLiteral extends ASTree ( 
public Token value; 





















































) 


public class BinaryExpr extends ASTree { 
public Token operator; 
public ASTree left, right; 





) 




















( 不 用 写 eval 5 accept 方法 ， 反 射 真是 太 棒 啦 | i 




















使 用 反射 机 制 的 关键 在 于 为 ASTree 类 定义 通用 的 accept 方 法 。 只 要 设计 出 通 
用 的 accept 方法 , ASTree 的 子 类 就 不 必 一 次 次 覆盖 该 方法 。 代 码 清单 19.8 是 改写 后 
的 AsTree 类 。 

该 accept 方法 将 在 由 参数 传递 的 visitor 对 象 中 查找 与 自身 所 属 的 类 相符 的 visit 方 
法 。 该 方法 自身 所 属 的 类 型 可 以 通过 getclass 方法 获取 。 之 后 ,程序 将 对 visitor 对 象 调 
用 找到 的 visit 方法 ,参数 就 是 该 类 自身 。 例 如 ,假设 该 对 象 是 一 个 BinaryExpr XZ, HE 
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Hf, accept 方法 将 查找 方法 visit(BinaryExpr e)， 并 以 自身 (this 对 象 ) 作为 参数 调用 
该 方法 。 

findMethod 方法 将 负责 实际 查找 适用 的 visit 方法 。 它 将 在 由 参数 传递 的 visitor 对 
象 中 查找 以 自身 (this 对 象 ) 的 类 型 为 参数 的 visit 方 法 。 如 果 没 有 符合 条 件 的 结 
R, findMethod 方 法 将 查找 以 自身 的 父 类 作为 参数 的 visit 方法 。 例 如 ,假设 this 对 象 
是 一 个 BinaryExpr 对 象 ， 如 果 visitor 对 象 中 不 存在 visit (BinaryExpr e) 方法 ,由 
于 BinaryExpr 存在 父 类 ASTree 类 ,因此 findMethod 方法 将 进而 查找 visit (ASTree e) 
方法 。 


| 























D 这 样 一 来 visitor 模式 就 完美 了 ! ARTI \ 
Bl 不 过 要 像 这 样 使 用 反射 机 制 ， 运 行 速 度 可 就 很 慢 了 呢 。 
B 确实 :…… 不 过 只 要 多 花 些 功夫 设计 ASTree 类 的 实现 ， 使 其 支持 缓存 功能 ， 运 行 速 度 倒 也 不 


L 至 于 太 慢 。 p 


AEREA 通 用 的 accept 方 法 


import java.lang.reflect.Method; 
















































































public abstract class ASTree ( 
public final void accept(Object visitor) throws Exception ( 
Method method - findMethod(visitor, getClass()); 
if (method !- null) 
method.invoke(visitor, this); 


) 


private static Method findMethod(Object visitor, Class«?» type) ( 


if (type -- Object.class) 
return null; 
else 
try { 
return visitor.getClass().getMethod("visit", type); 


) 


catch (NoSuchMethodException e) { 
return findMethod(visitor, type.getSuperclass()); 
} 








visitor 模式 的 逻辑 较 难 理解 ， 不 过 如 果 通 过 反射 机 制 实现 ， 该 模式 的 本 质 就 变 得 一 目 了 然 
了 。 在 调用 ASTree 对 象 的 accept 方 法 后 ， 语 言 处 理 需 将 选择 并 调用 与 该 对 象 实际 所 属 的 类 
对 应 的 visit 方法 。 为 此 ， 我 们 可 以 在 与 各 个 类 对 应 的 visit 方法 中 实现 相应 的 处 理 。 由 于 所 
有 的 处 理 都 整合 于 EvalVisitor 类 中 ， 因 此 可 读 性 得 到 了 改善 。 此 外 ， 在 添加 新 的 处 理 时 ， 我 
们 只 需 定义 一 个 类 似 于 LookupVisitor 的 新 类 即 可 ， 而 不 必修 改 已 有 的 类 。 在 当前 的 设计 中 ， 
实际 执行 处 理 的 对 象 类 已 经 与 抽象 语法 树 的 节点 类 分 离 。 
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| 回 这 就 是 所 谓 的 关注 点 分 离 呢 。 ) 











在 使 用 反射 机 制 实现 visitor 模式 时 ， 该 模式 原本 存在 的 另 一 个 问题 也 将 得 到 改善 。 在 原本 
的 实现 中 ， 如 果 为 抽象 语法 树 添加 了 新 的 节点 类 ， 我 们 就 必须 对 Visitor 接口 以 及 所 有 实现 了 
该 接口 的 类 进行 修改 。 

例如 ,假设 我 们 要 为 语言 处 理 屁 扩充 单 日 符号 运算 符 功能 ， 为 ASTree 添加 一 个 新 的 子 
类 UnaryExpr。 此 时 ， 我 们 必须 修改 visitor 接口 , 添加 一 个 visit (UnaryExpr e) 方法 。 
实现 该 接口 的 EvalVisitor 等 类 自然 也 需要 修改 , 增加 visit (UnaryExpr e) 方法 。 事 实 
上 ， 大 部 分 已 有 的 类 都 需要 做 一 定 的 修改 。 

对 于 抽象 语法 树 节 点 类 的 添加 问题 ，interpreter 模式 反而 更 有 优势 。visitor 模式 虽然 便于 添 
T o 但 在 添加 抽象 语法 树 的 节点 类 时 会 较为 复杂 。 

过 ， 在 通过 反射 机 制 实现 visitor 模式 时 ， 我 们 能 在 很 大 程度 上 避免 这 个 问题 。 在 添加 
UnaryExpr 类 时 ， 我 们 只 要 定义 一 个 EvalVisitor 的 子 类 ， 并 实现 相应 的 visit (UnaryExpr e) 
方法 即 可 。 在 这 种 实现 方式 下 ， 所 谓 的 静态 数据 类 型 检查 将 不 再 起 效 ， 因 此 无 需 执 行 额 外 的 修改 。 
此 外 ， 由 于 程序 不 再 需要 使 用 Visitor 接口 ， 自 然 也 就 没有 修改 它 的 必要 。 


B 这 种 实现 吸取 了 动态 类 型 语言 的 部 分 优点 呢 。 | 





























O 但 反 过 来 讲 ， 如 果 缺 少 visit 方法 ， 编 译 器 也 发 现 不 了 。 











EE. mmus 


M 
| n X, 还 还 有 东西 要 讲 啊 。 
加 AF, 只 是 总 结 fT EL, 最 后 再 总 结 ho 


最 后 ， 回 到 问题 的 核心 ， 我 们 希望 达到 的 目标 有 两 点 。 







































































e 我 们 希望 能 在 扩展 程序 功能 时 ， 不 必修 改 已 有 的 可 以 正常 运行 的 类 。 扩 展 分 为 以 下 两 类 : 
e 新 增 诸 如 UnaryExpr 这 样 的 抽象 语法 树 节点 类 ; 
e。 新 增 诸如 lookup 这 样 的 针对 抽象 语法 树 的 处 理 操作 。 

e 我 们 希望 能 在 同一 位 置 实现 所 有 相同 类 型 的 方法 。 






















































































为 了 实现 以 上 目标 ， 本 章 介绍 了 interpreter 与 visitor 这 两 种 设计 模式 。 它 们 都 是 非常 优秀 的 
面向 对 象 程序 设计 手法 ， 但 都 有 优 缺 点 。 

在 新 增 UnaryExpz 等 抽象 语法 树 的 节点 类 时 ， 采 用 interpreter 模式 的 程序 只 需 做 很 少 的 修 
改 。 但 如 果 要 为 抽象 语法 树 新 增 eval 或 lookup 这 样 的 处 理 操作 ， 该 程序 就 不 得 不 修改 各 种 类 
型 的 类 ， 不 但 修改 量 较 大 ， 可 读 性 也 很 差 。 


图 灵 社 区 会 员 leezom(superjavaman.zhangli@gmail.com) 专 享 尊重 版 权 



































19.5 面向 切面 语言 | 285 


另 一 方面 ，visitor 模式 的 程序 在 为 抽象 语法 树 添 加 eval 5 lookup 处 理 时 ， 只 需 修 
改 EvalVisitor 类 即 可 ， 修 改 量 较 小 ， 且 可 读 性 很 高 。 不 过 ， 如 果 要 新 增 UnaryExpr 之 类 的 
抽象 语法 树 节 点 ,程序 就 必须 进行 大 量 的 修改 。 此 外 ,我们 无 法 直接 为 抽象 语法 树 的 节点 对 象 
添加 新 的 字段 。 如 果 要 在 visitor 模式 中 使 用 反射 机 制 ， 程 序 的 复杂 性 将 会 上 升 ， 这 也 算是 一 个 
不 足 。 

因此 ， 本 书 采用 了 面向 切面 语言 ， 通 过 GluonJ 来 实现 语言 处 理 器 。 这 种 方式 不 但 无 需 勉强 
设计 复杂 的 Java 程序 ， 而 且 能 够 使 语言 处 理 器 支持 更 多 的 功能 。 

当然 ， 说 是 采用 了 面向 切面 语言 的 设计 方式 ， 本 书 其 实 仅 使 用 了 Ruby 语言 中 的 open class 
功能 。 不 过 ， 很 多 面向 切面 语言 都 支持 open class 或 类 似 的 功能 。 该 功能 可 以 有 效 实现 面向 切面 
的 程序 设计 目标 。 如 本 节 开 头 所 讲 ， 面 向 切面 程序 设计 的 主要 目标 之 一 就 是 希望 整合 相同 类 型 的 
代码 逻辑 ， 并 尽 可 能 减少 在 功能 扩展 时 所 需 的 修改 量 。 





























「 为 了 得 出 这 一 结论 ， 我 们 讲 了 好 久 呢 。 D 
回 之 前 也 说 过 ， 如 果 不 先 试 着 通过 面向 对 象 的 方式 实现 语言 处 理 器 的 话 ， 读 者 可 能 无 法 理解 为 

十 么 我 们 一 定 要 使 用 GluonJ。 

B 其 实 这 才 是 老师 最 想 写 的 内 容 不 是 吗 ? 

Ll 据说 老师 起 初 是 打算 在 第 4 章 讲解 这 部 分 的 。 

哎呀 ， 这 可 不 行 。 如 果 是 我 ， 读 到 那里 就 该 把 书 扔 一 边 了 。 

B 其 实 我 草稿 都 写 好 了 ， 给 编辑 一 看 ， 说 是 “第 4 章 的 iterator 模式 好 像 有 点 太 难 了 "”， 于 是 只 
好 放弃 ， 挪 到 后 面 去 了 。 

回 iterator ? 不 是 interpreter 14? 

BH 不 ， 我 没 讲 错 。 他 确实 是 说 觉得 iterator 模式 太 难 了 。 

回 也 就 是 说 ，interpreter 模式 难 到 连 编辑 都 错 看 成 iterator 了 么 ， 又 或 是 因为 实在 太 枯燥 所 以 搞 
































































































































































































































呀 ， 真 是 有 点 无 奈 呀 。 
那 时 候 正 好 在 处 理 另 一 篇 与 iterator 有 关 的 文章 …… 看 错 了 真是 抱歉 。 
B 对 了 ， 这 是 本 书 的 编辑 | 先生 。 
回 初次 见面 ， 我 是 H。 
D 您 也 是 SD 杂志 的 编辑 对 吧 ， 我 一 直 在 读 您 的 杂志 哦 。 
B 最 近 那 边 的 工作 比较 忙 ， 这 本 书 就 无 暇 顾及 了 呢 。 
回 ( 好 啦 ， 老 师 ) 尽 管 如 此 ， 各 位 读者 还 是 读 完 了 这 本 书 啊 。 
B 怎么 说 呢 ……: 之 后 进行 了 反思 ， 改 写 了 很 多 。 
我 觉得 这 本 书 真 的 非常 棒 | 

uL. E, | 先生 你 怎么 好 像 在 冒 汗 呀 ? | 
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本 书 是 一 本 优秀 的 编译 原理 入 门 读 物 ， 它 党 试 以 一 种 现代 的 方式 设计 一 种 现代 的 
语言 ， 即使 读者 对 编译 器 已 有 一 定 程度 的 了 解 ， 也 一 定 能 从 中 学 到 很 多 。 
一 一 日 本 编译 器 权威 专家 中 田 育 男 


第 ] 部 分 


设计 Stone 语 言 的 解释 器 。 第 2 ~ 8 章 将 实现 一 个 具有 基本 功能 的 解释 器 。 第 9 ~ 10 章 将 介绍 


一 些 较 深 入 的 内 容 。 

Bb 第 1 天 来 ， 我 们 一 起 做 些 什么 吧 B 第 2 天 设计 程序 设计 语言 
B 第 3 天 分 割 单词 B 第 4 天 用 于 表示 程序 的 对 象 
B 第 5 天 设计 语法 分 析 器 B 第 6 天 通过 解释 器 执行 程序 
B 第 7 天 添加 函数 功能 B 第 8 天 关联 Java 语 言 

B 第 9 天 设计 面向 对 象 语言 B 第 10 天 无 法 割舍 的 数组 


性 能 你 化 高 
第 2 部 分 将 对 第 1 部 分 设计 的 Stone 语 言 解释 器 进行 性 能 优化 。 其 中 ， 第 13 章 将 介绍 如 何 设计 
Stone 语 言 的 编译 器 ， 以 提高 性 能 。 如 果 读 者 仅 对 编译 器 的 设计 方法 感 兴趣 ， 只 需 阅 读 第 11 


章 与 第 13 章 即 可 。 
W 第 11 天 优化 变量 读 写 性 能 W 第 12 天 优化 对 象 操作 性 能 
图 第 13 天 设计 中 间 代 码 解释 器 W 第 14 天 为 Stone 语 言 添加 静态 类 型 支持 


以 优化 性 能 
第 3 部 分 

第 3 部 分 将 介绍 一 些 在 开发 Stone 语 言 过 程 中 没 能 涉及 的 进 阶 主题 .第 15 章 和 第 16 章 的 内 容 

是 大 多 语言 处 理 器 相关 教材 中 都 会 讲解 的 基础 知识 


B 第 15 天 手工 设计 词法 分 析 器 E 第 16 天 语法 分 析 方 式 
W 第 17 天 Parser 库 的 内 部 结构 Bi 第 18 天 GluonJ 的 使 用 方法 
B 第 19 天 抽象 语法 树 与 设计 模式 
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